Вальтер Шмитт родился 13 января 1879 года в Гамбурге. Там же 1898 году он закончил реальную гимназию, после окончания которой начал армейскую карьеру - в 1899 году Шмитт вступил фанен-юнкером в 77-й пехотный полк в Целле, и до 1900 года обучался в военной школе в Меце, закончив её в звании лейтенанта. К началу Первой мировой войны он был капитаном штаба брауншвейгского пехотного полка. На Западном фронте Шмитт получил два Железных креста, а также брауншвейгский крест "За военные заслуги", однако уже в сентябре 1914 года попал в плен французам, где и оставался в плоть до 1918 года, после чего Шмитта интернировали в швейцарский Берн, откуда он вернулся на Родину лишь через год. В Германии, Шмитт получил заслуженный нагрудный знак "За ранение", но накануне 1921 года был уволен из армии в звании майора.
Лишившись возможности продолжать военную карьеру, Вальтер Шмитт устроился управляющим кадрами на ткацкое производство в родном Гамбурге, где проработал до 1931 года. Также Шмитт был добровольным заседателем арбитражной комиссии в суде Гамбурга-Вильгельмсбурга. До 1927 года он был членом Немецкой Национальной Народной Партии, а в августе 1931 года вступил в НСДАП, вскоре после чего был уволен со своей должности и присоединился к резерву СА, к которому он принадлежал до января 1932 года.
8 февраля 1932 года Вальтер Шмитт вступил в СС и до июля того года возглавлял СС Балленштедта. С января 1934 начальник штаба СС «Эльба». В марте 1934 года назначен личным референтом по кадрам рейхсфюрера СС в звании оберфюрера. С этого момента стал заниматься в СС кадровыми вопросами, причем его статус в организации постоянно повышался. С июля 1936 года шеф управления кадров СС в звании бригаденфюрера. С июня 1937 года также инспектора юнкерских школ СС в звании группенфюрера. В марте и апреле 1938 года отвечал за службу безопасности для аншлюса Австрии. В июне 1939 года Шмитт возглавил только что созданное Главное управление кадров СС (до ноября 1942 года). За этом время Шмитт успел дослужиться до обергруппенфюрера СС и генерала Ваффен-СС. Затем был зачислен для особых поручений в личный штаб рейхсфюрера СС, где выполнял курирование протектората Богемии и Моравии. После смерти Теодора Айке в 1943 году, получил его место в рейхстаге.
После войны Шмитт был арестован, и приговорён к смерти народным судом Чехословакии. 18 сентября 1945 года в Даблице (пригороде Праги) приговор был приведён в исполнение.