嘉靖三十二年(1553)六月，戚繼光升任署都指揮僉事，負責山東抗倭事宜，從此戚繼光開始了他抗倭的輝煌事業。

倭寇就是日本海寇，最早起源於日本的九州以及山陰、山陽二道，主要由日本武人、浪人、海盜商人和破產農民組成。他們以壹岐、對馬二島為根據地，同內陸的奸民相勾結，在中國、朝鮮沿海地區活動猖獗。從元末直到明朝萬曆年間為惡長達300年之久。

在倭寇勢力日益猖狂的形勢下，戚繼光於嘉靖三十二年六月，被調到山東前線，督率登州、文登、即墨3營25衛所，備禦倭寇的。當時山東沿海衛所士兵僅及原額的一半，又多是老弱，紀律鬆弛，號令不嚴，戰鬥力非常差。戚繼光深知，用這樣一批毫無紀律的驕將惰兵去應敵，是必敗無疑的。因此，他一上任，便從"振飭營伍，整刷衛所"著手，進行整頓。但軍中已成習性，人們對年僅26歲的戚繼光並不以為然。在將校中，有一位戚繼光的遠房舅父，自恃長輩，拒不服從命令。為了整肅軍紀，懲罰這種無紀律的惡行，戚繼光當眾處分了他的遠房舅父。當晚，戚繼光又以外甥的身份，把這位舅父請來，賠禮道歉，請他原諒。那位遠房舅父深為感動，跪地而前，說道："現在我知道你秉公執法，今後再也不敢違抗你的將令了。"這件事傳揚開去，官兵們私下議論："戚將軍執法不諱私親，說明他秉公斷事；先按國法從事，而後自己賠罪道歉，說明他敬長謙讓。對自己的舅父都以法行事，何況是其他部下呢？如果再不約己守法，將會自招懲處了。"經過戚繼光的一番整頓，軍中的風氣頓改。

戚繼光深知：要消滅敵人，就必須有一支訓練有素的強勁的軍隊。嘉靖三十五年(1556)十一月，戚繼光向浙江軍政當局建議創設兵營、訓練士兵。第二年的二月，戚繼光再次建議練兵。胡宗憲等雖然勉強接受，但卻並沒積極支持，他根本不相信能練成如戚繼光所設想的那樣的軍隊。直到嘉靖三十六年(1557)底，才將兵備僉事曹天佑所部3000軍隊撥歸戚繼光。戚繼光帶領這3000士兵，平時則加強訓練，有戰事則領兵作戰。

嘉靖三十八年(1559)春夏間，倭寇大大舉騷擾浙江沿海。數千倭寇自溫州、台州登陸，兩府頻傳告急。溫州倭寇多在乎陽、樂清兩縣間抄掠，台州倭寇勢頭正盛。一府六縣，沿海數百裏，有許多倭寇巢穴，其中危害最大的三大巢穴是柵浦、桃渚、海遊。四月，戚繼光接到往台州剿倭的命令，立即召集部將商討對策。這時，倭寇已經包圍了桃渚千戶所。四月五日，戚繼光率軍從寧波出發，多次擊敗所遇倭寇。當明朝官軍趕到桃渚時，桃渚所已經被困月餘，形勢危急。四月十六日，戚繼光乘雨悄悄引軍逼近敵營，設伏兵四支，待命殺敵。又令數十名鳥銃手潛入城中，廣張旗幟，充當疑兵。第二天，倭寇便來攻城，城上鳥銃齊發，大批倭寇被擊斃。倭寇抬頭，見城上旌旗蔽日，以為明軍大隊人馬到了，急忙撤圍退走。倭寇退走之時，又遭受到戚繼光的伏兵出擊，餘寇逃往章安，與柵浦之倭合兵一處，返身迎戰，其勢十分猖狂。戚繼光率軍一路追趕，列陣椒江岸邊，親自擂鼓督戰。明軍精神大振，奮勇向前，與倭寇短兵相接。白刃戰從早晨戰至午間，明軍越戰越勇；倭寇也被殺急了眼，猖狂反撲。處州義士胡元倫雖已身被數處創傷，仍血戰不已，衝鋒在前，眾兵緊跟其後，舉刀劈敵。倭寇大敗潰散，奪船奔命，來不及上船的，大批被淹死。敗寇分兩股，一半乘舟逃往南岸，另一半逃竄到椒江北岸的山區。戚繼光率部緊迫不舍，在黃蕉山包圍了敵人。乘夜色朦朧之際，四麵仰攻，大敗敵軍。

四月二十四日黎明，戚繼光進軍桃渚，離敵還有30裏時，倭寇看到明軍來勢凶猛，便立即解圍而走，移營葛埠，據山港為險頑抗。戚繼光親臨前敵，根據敵情，指揮明軍發動猛攻。戚繼光命部將樓楠、丁邦彥率部浮水先登，複授計盧錡領兵往敵巢縱火。火起，敵人陣腳大亂，隊長楊貴直人倭巢，奮勇殺敵。倭寇驚潰，慌不擇路，大批被燒死淹死。這時又值傾盆大雨，殘餘倭寇連夜開船，往柵浦方向逃去。桃渚之倭被擊潰，被俘的1000多百姓得釋。

消滅桃渚之倭以後，當年的五月初一，戚繼光率師來到海門衛，正擬與譚綸商議掃平柵浦倭寇，這時，又有探報來傳，有3000倭寇從賈子、柵浦方向而來，要襲擊海門衛。戚繼光以軍士急需休息，便令衛軍暫為守城。這幫軍官平時懶散慣了，盡管接受了命令，卻無心防守。海門緊靠大海，衛城離海才一裏來路。到了半夜時分，數百倭寇乘天色晦黑，悄悄潛來襲城，等到30多個倭寇已經爬上城頭，守軍才發覺，驚慌失措。戚繼光聞訊，見情勢危急，也來不及整頓隊伍，飛身上馬，手舞雙劍，直奔城門。這時風雨交加，夜色漆黑，伸手不見五指。衛士匆忙大聲疾呼："主帥親自衝上去了!"部眾驚醒，將校兵卒急速出軍。譚綸也率衛土奔出督戰。眾人殺倒登城之倭，襲城的倭寇匆匆奔回水上敵營。海門衛所保住了，戚繼光為了嚴明軍紀，把負責守城的人斬首，城中的形勢才逐漸安靜下來。

倭寇知道海門有備，不易攻取，便準備向南過新河，出南澗逃走。戚繼光熟悉地形，料知倭寇肯定會走這條路，便事先命士卒釘樁連船，塞敵去路。倭寇隻得停泊牛橋，爬上新河所前山，築壘拒守。戚繼光和譚綸早已率眾埋伏於此，見倭寇退來，從容布置，出奇擊敵。先以少量兵力出西城，引敵出動。倭寇見這裏防守空虛，都往西城湧來。戚斷光立在城頭嘹望敵人動向，見倭船都在城南牛橋。倭寇撲向西城，必奔牛橋而去，到時勢必從南門經過。於是，戚繼光命令全部精銳兵馬，埋伏在城南。果不出所料，倭寇又往南城急急奔來，早已等在這裏的明軍，一下子衝上去，三路合擊。已經疲憊不堪的倭寇不敢再硬拚了，紛紛登船，隔水拒明軍。明軍發巨銃炸碎倭船兩艘，倭寇又慌忙登岸迎戰，複遭痛擊，沒有辦法隻得退回舟中，逃往南岸。明軍鳥銃齊發，槍彈橫飛，縱火攻敵船。明軍大獲全勝，焚毀倭寇雙桅巨船32艘，燒死淹死倭寇有1000多人。

從南岸登陸的倭寇，往樂清逃去，打算同溫州之倭會合。戚繼光對譚綸說："倭賊已經失魂落魄了，應當急追！"五月十二日，明軍在南灣追上了敗寇。倭寇分五路占據海岸高山，憑險固守，搶劫了數十艘漁舟，隨時準備出海逃走。戚繼光先命盧錡等率軍千人，從山背抄敵後路，正麵分兵五路攻敵，故意隻留海路一條，而在海口處設下埋伏，單等倭寇來逃。戰鬥開始後，倭寇居高臨下，箭石齊發，明軍無法攻占。戚繼光見山上有兩個倭寇首領在搖旗指揮，遂同弟弟戚繼美衝上前去，兄弟倆各射一箭，兩個倭寇首領應聲倒地，餘寇嚇得慌忙躲進樹蔭中避箭。各路明軍乘機全力進攻，霎那間，倭寇陣地背後殺聲震天，原來盧錡等已率眾從山後襲登山頂。於是，明軍上下交攻，左右夾擊，倭寇無力抵抗，果然從戚繼光留下的那條海路逃跑，正中明軍埋伏。明軍將其包圍夾擊，倭寇蹈水而死者，不計其數。來不及逃跑的，跪地求饒，倭寇首領也俯首投降。殘餘倭寇往溫州竄去，戚繼光一路追擊，將其消滅在溫州的盤石、館頭，溫州的倭寇也被戚繼光分兵趕下海去。

五月十八日，戚繼光奉命揮師北上，與其他各路明軍配合，剿滅盤踞台州府寧海的倭寇。盤踞寧海的倭寇聽說各路明軍齊集，心存畏懼，乘船往海上逃去。戚繼光督率舟師，乘風奮擊，把總任錦率所部水師追敵，在貓頭洋擊沉倭船六艘；把總邱泓又統領所部水師，在清門洋擊沉倭船五艘，焚毀四艘，救出被俘百姓5000多人。倭寇在海上沒有辦法對抗明軍，轉而登陸聚集，搶占民舍，據樓死守，被都司牛天錫所率明軍全殲。至此，嘉靖三十八年入侵溫州、台州二府的倭寇，被全部消滅，戚繼光在這場平倭戰爭中英勇奮戰，沉著指揮，已成為一位遠近聞名的勇將了。