Zhúkov fue inició como aprendiz para trabajar en Moscú y en 1915 pudo entrar en la academia de oficiales de caballería por sus meritos al no ser hijo de aristocratas. Allí fue llamado a filas cuando estallo la gran guerra, donde sirvió en un regimiento de dragones como soldado. Durante la Primera Guerra Mundial, Zhúkov fue condecorado dos veces con la Cruz de San Jorge y ascendido al rango de oficial no comisionado por su valor en batalla. Se unió al Partido Bolchevique tras la Revolución de Octubre y su antecedente de pobreza se convirtió en un recurso. Tras recuperarse del tifus, luchó en la Guerra Civil Rusa de 1918 a 1920, recibiendo la Orden del Estandarte Rojo de Batalla por avasallar a una rebelión no comunista incitada por campesinos.
Para 1923, Zhúkov fue nombrado comandante de un regimiento y, en 1930, de una brigada. Fue un entusiasta postulador de la nueva teoría de la guerra blindada y conocido por su detallada planificación, ruda disciplina y rigor. Sobrevivió a la Gran Purga del Ejército Rojo de Stalin en 1937-39.
En 1938, Zhúkov se dirigió a comandar al Primer Grupo del Ejército Soviético Mongoliano y vio la acción contra el ejército de Kwantung de Japón en la frontera entre Mongolia y el territorio de Manchukuo, controlado por los japoneses, en una guerra no declarada que duró desde 1938 hasta 1939.
Lo que comenzó como una escaramuza fronteriza de rutina —los japoneses pusieron a prueba la resolución de los soviéticos por defender su territorio- escaló rápidamente en una guerra a gran escala: los japoneses hicieron presión con 80.000 tropas, 180 tanques y 450 aviones. Esto llevó a la decisiva batalla de Halhin Gol. Zhúkov solicitó mayores refuerzos y el 15 de agosto de 1939, ordenó lo que parecía en principio un ataque convencional frontal. Sin embargo, Zhúkov había retenido a dos brigadas de tanques que, en una maniobra osada y exitosa, ordenó avanzar alrededor de ambos flancos de la batalla. Apoyado por la artillería motorizada y la infantería, los dos grupos móviles de batalla rodearon al 6º ejército japonés y capturaron sus vulnerables áreas de suministro. En pocos días, las tropas japonesas fueron derrotadas.
Por esta operación, Zhúkov recibió el título de Héroe de la Unión Soviética. Fuera de la Unión Soviética, sin embargo, esta batalla sigue siendo poco conocida, ya que en esa época había comenzado la Segunda Guerra Mundial. El uso pionero de Zhúkov del blindado móvil fue desatendido por el occidente y, en consecuencia, la Blitzkrieg alemana contra Francia en 1940 llegó como una gran sorpresa.
Ascendido a general en 1940, Zhúkov fue por poco tiempo (de enero a julio de 1941) jefe del Estado Mayor del Ejército Rojo. Debido a desacuerdos con Stalin fue reemplazado por el mariscal Boris Shaposhnikov (que fue reemplazado a su vez por Aleksandr Vasilevsky en 1942).
Tras la invasión alemana de la Unión Soviética en junio de 1941, Zhúkov fue temerario en sus críticas directas de Stalin y otros comandantes. Como resultado, fue removido del personal de mando y enviado al distrito militar de Leningrado para organizar la defensa de la ciudad. Frenó el avance alemán en las afueras del sur de Leningrado en el otoño de 1941.
En octubre de 1941, cuando los alemanes se acercaban a Moscú, Zhúkov reemplazó a Semión Timoshenko en el mando del frente central y fue asignado a dirigir la defensa de la ciudad. Dirigió también la transferencia de tropas del Lejano Este, donde una gran parte de las fuerzas terrestres soviéticas se habían estacionado el día de la invasión de Hitler. Una exitosa contraofensiva soviética en diciembre de 1941 hizo retroceder a los alemanes, fuera del alcance de la capital soviética. La proeza logística de Zhúkov es considerada por algunos su más grande logro.
Por ahora, Zhúkov nuevamente tenía una firme aceptación y Stalin lo valoró precisamente por su franqueza. La buena voluntad de Stalin por resignarse a la crítica y a escuchar a sus generales contribuyó finalmente a su éxito como comandante -contrastando con Hitler, que destituía a cualquier general que estuviera en desacuerdo con él.
En 1942, Zhúkov fue ascendido a Comandante en jefe asistente y enviado al frente del suroeste para estar a cargo de la defensa de Stalingrado. Bajo el mando total de Vasilievsky, fiscalizó a la distancia el cercado y la captura del Sexto Ejército Alemán a cargo de Chuikov en 1943 con el costo de quizá un millón de muertos. Durante la operación Stalingrado, Zhúkov pasó la mayor parte del tiempo en los infructuosos ataques en las direcciones de Rzhev, Sychevka y Vyazma, conocido como "El moledor de carne de Rzhev" ("Ржевская мясорубка"); no obstante, reclamó el éxito en Stalingrado como suyo,lo que no le correspondía ya que el mérito le correspondia a su subordinado Vassili Ivanovitch Chuikov, provocando que Stalin firmara la orden sobre el comportamiento impropio de Zhúkov:
"Contrario a los reclamos de Zhúkov, no tiene ninguna relación con los planes de liquidación del grupo de tropas alemanas de Stalingrado; se sabe que el plan se desarrolló e inició para ser implementado en el invierno de 1942, cuando Zhúkov estaba con otro frente, lejos de Stalingrado".
En enero de 1943, orquestó la primera ruptura del bloqueo alemán de Leningrado. Fue coordinador de la STAVKA en la batalla de Kursk en julio de 1943, jugando un rol central en la planificación de la batalla defensiva soviética y las enormemente exitosas operaciones ofensivas que la siguieron. Kursk representó la primera gran derrota de la blitzkrieg alemana en tiempo de verano, de suficientes alcances como para ser considerada una batalla al menos igual de decisiva de la de Stalingrado.
Después del fracaso del mariscal Kliment Voroshilov, levantó con éxito el asedio de Leningrado en enero de 1944. Zhúkov lideró la Contraofensiva soviética de 1944 y el asalto final sobre Alemania en 1945, capturando Berlín en abril y llegando a ser primer comandante de la zona de ocupación soviética en Alemania. Como el comandante militar soviético más prominente de la Gran Guerra Patriótica, Zhúkov comandó el Desfile de la Victoria en la Plaza Roja de Moscú en 1945. Se dijo que Stalin, el comandante supremo, tenía miedo de caerse de su caballo en las húmedas piedras de la Plaza.
El general Dwight Eisenhower, supremo comandante Aliado en el Oeste, fue un gran admirador de Zhúkov y ambos viajaron por la Unión Soviética juntos al concluirse la victoria sobre Alemania