La palabra grimorio procede, según la Real Academia Española, del término francés grimoire, y éste es a su vez de una alteración de grammaire, gramática, según el Trésor de Langue Française.
Esto se debe en parte a que, en la Edad Media, las gramáticas latinas (libros sobre dicción y sintaxis del latín) eran fundamentales para la educación escolar y universitaria, mientras que la mayoría iletrada sospechaba que los libros no eclesiásticos eran mágicos.
De esta forma, gramática también denotaba, tanto para letrados como para iletrados, un libro de enseñanza básica. No debe ser confundido con el breviario, libro de oraciones.
Se cree además que muchos grimorios son traducciones de antiguos libros egipcios o griegos, o bien interpretaciones de viejos hechizos que han pasado de boca en boca entre los magos durante siglos, y que algún hechicero destacado decidió ordenar y componer en un texto escrito para conocimiento de las futuras generaciones.
Otra versión sobre el origen de la palabra, mucho más aceptada actualmente por los propios practicantes de magia, sostiene que la palabra grimorio» proviene del italiano rimario que significa «composición de versos».
Con el paso del tiempo la palabra habría cambiado a grimario y posteriormente a la actual grimorio.