在我国，关于墨的记载非常久远。从考古发掘出来的骨器和石器上的墨迹来判断，甚至可以追溯到公元前14世纪。但直到汉代，才开始出现人工墨品。东汉应劭《汉官仪》云：“尚书令、仆、丞、郎，月赐愉麋大墨一枚，愉麋小墨一枚。”记述的就是人工制造的墨丸。魏、晋、南北朝时墨的质量不断提高。贾思勰的《齐民要术》中就有一篇《合墨法》专门记载了制墨的工艺和配方。卫夫人《笔阵图》中有“其墨取庐山松烟，代郡之鹿胶。”晋代在墨中掺胶以增加墨色的亮度及附着力，结束了碎墨无规整形制的时代，这是一个巨大的进步。晋代书法家众多，他们对墨的选择已经十分讲究，如王羲之就强调好墨须用庐山松烟，并参以鹿胶。此足见书圣对用墨要求之高。
随着社会的发展、科技的进步，墨的质量不断提升，不但出现了液体墨，还出现了各种色彩的墨。但对书法来说，仍以黑色为宗！
根据所用制造材料的不同，墨大致可以分为松烟墨、油烟墨、兰烟墨等。松烟墨黑而沉，适宜作书；油烟墨黑而有光泽，宜书宜画；兰烟墨黑而发紫，宜画人物点睛。古人作书多用墨锭，在选择墨时首先要看墨质是否细腻滋润，好墨质地细而硬，并有香味，劣墨质粗而松，且有臭味难闻；其次要看墨的颜色，黑而发紫光的最好，纯黑次之，青色又次之，呈灰色的最次；第三要听声音，好墨量重，叩之声大且清脆，劣墨量轻，叩之声小且沉闷。墨的优劣直接影响到书作的效果。好墨不论笔锋软硬，均能保持运笔流畅，转动灵活，做到不沾、不涩、不滞、不飞、不散。所以历代书法家对墨的选择都非常重视。研磨之墨虽好，但比较麻烦，现在多用墨汁，这大大方便了书法家，但不能满足现状，要精益求精。
在用墨方面，书法家们积累了丰富的经验。墨落在纸上，有浓、淡、燥、润等变化，书法作品的神采、气韵，由此而得以表现。当使用浓墨时，易滞笔毫，故行笔不可能太快，如果运用的好，浓墨与白纸能形成强烈的黑白色彩对比，写出的作品凝重沉稳、朴茂苍浑。刘墉善于运用浓墨作书，有“浓墨宰相”的美誉。
但若墨过于浓，如行笔过快，则会产生过多的飞白，给人一种干燥之感。使用淡墨时，因为水分的增加，胶质比例相应降低，故可提高运笔速度，且墨的深化能力也相应增强，此则会有一种朦胧的梦幻感及清新的幽静感自作品中油然而生。董其昌、王文治等都是擅长运用淡墨作书的高手，王文治则有“淡墨探花”的雅号。但是如果用墨过淡，则又容易使作品缺乏神采。清朝书法理论家梁巘说：“浓则彩生，淡则笔利”，在用墨的时候要做到象徐悲鸿所说的“浓不凝滞，淡不浮薄”，这也诚如蔡骥所言不但“润则有肉，燥则有骨”，而且“肉不可痴，骨宜少露”。书法家根据各自的追求，充分发挥墨的艺术效果。如用墨蘸水或以水蘸墨，这样水与墨之间有了明显的界限而使每字乃至整篇的浓淡变化增大、对比增强而产生墨分五色的绘画效果，进而给人以变化奇巧的神秘感。另外，墨中加水越多，其渗化速度越快，为了更好地控制笔上的下墨量，就必须加快运笔的速度，这样字的动势就会随之明显增大，因此又能同时产生一种天然的空灵感。