戚繼光通過一係列的抗倭鬥爭，總結經驗，認為：要戰勝敵人，就必須有一支精兵；如果無兵而議論打仗，就如同一個無臂膀之人同手執利劍者格鬥一樣，取勝簡直是不可能。當時明朝政府在抗倭戰場上的土兵，主要有兩種：一是外省來的客兵，另-是浙兵。客兵中有兩廣的狼士兵，山東的箭手，湖廣的漕卒，河南的毛兵以及川兵。這些客兵遠離浙江，等奉命開到前線，倭寇早已大肆搶掠，開洋而去；待他們返回本省，倭寇又乘機而來。至於那些留下來的客兵，享受著優厚的待遇，但卻驕橫異常，很難管教，甚至相互火並，有的還夥同倭寇一起殘害百姓，甚至比倭寇更壞。以至於老百姓非常憤慨地說："寧遇倭賊，毋遇客兵；遇倭猶可逃，遇兵不得生。"而當地的浙兵由於受到軍官的盤剝，生活困苦，缺吃少穿，打起仗來，更是"身無甲胄之蔽"。平時由於毫不訓練，"手無素習之藝"。"戰無號令"，"望賊奔潰，聞風膽破"。這種情況使戚繼光非常棘手，要靠這樣的兵戰勝倭寇，極為困難。

早在嘉靖三十五年冬，戚繼光曾上書建議整訓軍隊。然而當時隻重創建兵營，加強訓練，選兵還主要從現存浙江衛所兵以及民快義勇中挑選精壯。後來，胡宗憲將曹天佑部的3000兵撥歸戚繼光訓練。經過一年半的嚴格訓練，這支隊伍看起來軍容也還整齊。由於戚繼光打仗時身先士卒，指揮有方，加上軍令嚴肅，捷報頻傳。但是，雖然經過戚繼光的嚴格教育，這支軍隊的軍紀仍然令人擔心。戚繼光率領這支軍隊在取得烏牛大捷之後，收兵記功時，一個士兵提著一顆血淋淋的人頭前來報功。戚繼光見被殺者雙目圓瞪，心中正在納悶之時，另一個士兵看見那顆血淋淋的人頭，突然放聲痛哭道："這是我的弟弟呀!剛才負傷並未死去，為什麽要殺他啊!"還有一個士兵，竟然將一個十五六歲的無辜少年殺死，前來報功。戚繼光極為憤怒，把兩個冒功者統統殺了，但這類事件屢禁不止。至於因強奸婦女、搶劫百姓而受處罰的士兵，那就更多了。

戚繼光率領的軍隊，雖然也常打勝仗，但違抗軍令之事屢次發生。在海門擊退倭寇之後，戚繼光命令軍隊乘勝追擊，但士兵們居功自傲，軍紀鬆弛，不肯向前，連同自己很信任的一個親兵也跟著退縮。戚繼光隻得把違反軍規的士兵連同那個親兵一同殺掉，軍隊才勉強繼續向前追去。

戚繼光為了訓練一支紀律嚴明、作戰勇敢的軍隊，決定從兵員開始進行整頓。這時，戚繼光想起了處州義兵，更加想起了憤怒殺倭的浙江義士百姓，他決定從與倭寇有深仇大恨的老百姓中去募兵。嘉靖三十八年(1559)八月，戚繼光又一次上書建議練兵之議，提出自己到浙江義烏募兵。恰好義烏縣令趙大河也上書胡宗憲，請招募當地礦徒入伍，胡宗憲便同意戚繼光前往義烏募兵，並命令趙大河幫助辦理這件事。同年九月，戚繼光來到義烏招募新兵。開始之時，人們不清楚募兵的意圖，不願前往。戚繼光對其曉以殺倭保國的道理，募兵局麵才得以逐漸打開，當地農民才積極參軍。戚繼光對應募者精心挑選，終於組成了一支由農民、礦工為主的軍隊，共計3000多人。這3000多人奠定了就是後來馳名的戚家軍的基礎。

到了十一月，戚繼光率領隊伍回到台州，一邊禦倭，同時加強訓練。首先，戚繼光把新挑選的士兵，立即編成隊伍，加以統束。以12人為一隊，設隊長一人。四隊為一哨，設哨長一人。四哨為一官，置哨官統領，每官配備鳥銃手一哨。四官為一總，以把總統領。戚繼光自將中軍，統率全營。戚家軍的編製，以隊為基本單位。在訓練或實戰時，每隊則按鴛鴦陣的形式排列。鴛鴦陣是戚繼光研究了倭寇的進擊特點，發揮了他的嚴節製和齊力勝敵的軍事思想而編練出的一種獨特的戰鬥組合。每隊12人，隊長居前。次二人執盾牌，一圓一長，前者選年少便捷、手足靈活之人擔任，後者選年壯力大且膽量過人者承當。牌手另攜標槍二隻，腰刀一把。再次二人是狼筅手，選年力健大雄偉老成者擔當，持狼筅抵禦敵人刀槍，保衛牌手。再次四人為長槍手，後二人持短兵器，他們是主要的殺手，所以都挑選精敏有殺氣的30上下健壯好漢。最後一人為火夫，則以老實有力武藝稍次而甘為人下者充當。訓練之時，強調相互配合，協同作戰。士兵入伍以後，即按鴛鴦陣中所定位置一一編好，不得任意改變，違者嚴罰。每哨、每官、每總也都在軍中占有特定的位置，整個軍隊軍紀嚴明，便於指揮，聯成一氣，進退猶如一人。

其次，戚繼光在訓練之中將軍中號令放在非常重要的地位。他采取的辦法有兩種：一是使全軍上下必須嚴格聽從號令。戚繼光把軍中各種金鼓、號炮、旗幟、鑼鈸、竹筒、燈籠所代表的號令，向軍官和士兵們作了詳細清晰的說明，命令他們必須準確掌握。同時，還把各種緊要號令編印成冊，散發給士兵學習。識字者自己讀，不識字者聽別人講讀，人人必須牢牢記住，絕對服從。二是做到心從。其辦法是賞罰嚴明，恩威並施。同時，注重說服教育，啟發士兵自覺遵守。戚繼光通過這些嚴明的號令，指揮約束部眾，無論住營、行軍、操練、出征，都能做到服從號令，步調統一，使全軍儼然一個整體。

最後是練習武藝。戚繼光訓練士兵學習武藝的方法，一是要求土兵學習防身殺敵的過硬的本事，決不要那些隻在官府麵前裝裝樣子；二是根據鴛鴦陣的特殊情形，按照士兵的年齡、身材、體質、性格的不同情況，分別授以藤牌、狼筅、長槍、短刀等器械，加以精練，並特別注重實戰中的相互配合，協調作戰；三是不僅士兵要練武，各級軍官，直至主將，都必須學習武藝。戚繼光本人的武藝就非常嫻熟，尤其是箭法，人稱"萬夫之雄"。戚繼光深有體會地說："軍官隻有自己武藝精強，平日方可督責士兵認真習武，戰時才能身先士卒，才能激發全軍的戰鬥能力。"

素質優良的戚家軍步兵，經過戚繼光苦力經營，精心操練，不久便成為當時一支行動快捷、戰鬥力強、軍紀嚴明的勁旅。後來各地的客兵撤離浙江，戚繼光所訓練的軍隊便成為浙江前線抗倭的主力。嘉靖三十九年(1560)三月，戚繼光前往台州、金華、嚴州三府等地為參將，駐守地從寧波移至鬆海。胡宗憲同時委派唐堯臣為台州、金華兵備僉事，兼督海防，協助戚繼光。戚繼光在鬆海一帶，除繼續訓練步兵外，又培養了一支強悍的水師。訓練有素的戚家軍步兵、水師使浙江的海防力量大大增強。