Natural de la localidad de Essen, en Alemania, es hijo de una familia minera. De joven trabajó en la mina y, en sus ratos libres, se dedicaba al estudio. Ya en esos primeros años mostró una sensibilidad hacia las cuestiones sociales típicas del s. XX, afiliándose a la asociación sindical de mineros cristianos.
Su actividad social sigue con su afiliación política en el Zentrumspartei y empezando a colaborar como redactor en la revista “Bergknappe”. Llevó a cabo su actividad sindical en otras poblaciones como Waldenburg, Zwickau y Bottrop. Durante este tiempo se casó con Elisabeth Koch con quien tuvo siete hijos. Escribió un libro, “Siete en la mesa”, en donde habla de su amor por la vida familiar y el sentido de la responsabilidad. En 1927 empieza a escribir en otra revista, la “Westdeutsche Arbeiterzeitung”, en donde habla públicamente de la fe.
En sus artículos hablará claro sobre su postura frente al nazismo: “Como trabajadores católicos rechazamos el nacionalsocialismo no sólo por motivos políticos y económicos, sino por nuestro modo de ser religioso y cultural de modo claro y decidido”. En 1933, cuando la subida al poder de Hitler, la organización cristiana sindical a la que pertenecía fue declarada enemiga del Estado. Pese a la creciente violencia y la persecución que estaba mostrando el nacionalsocialismo, Gross siguió sin miedo dando testimonio de Cristo.
Ya hacia el año 1940 comenzó a sufrir interrogatorios y persecuciones. Su actividad como periodista fue perseguida, vetando definitivamente su revista. Fue arrestado y torturado en la cárcel de Tegel, ya en 1944. Su mujer testimonia que fue capaz de aguantarlo gracias a su entrega a la oración. Fue asesinado finalmente en 1945 en la cárcel de Berlín-Plötzensee. Para no dejar rastro, Nicolás Gross fue incinerado y sus cenizas esparcidas. Fue beatificado durante el pontificado de San Juan Pablo II, el día 7 de octubre de 2001.