然而，由理想通往現實的道路是漫長而充滿艱辛的。司馬遷為實現自己的遠大理想經受了肉體以及精神上的種種痛苦和磨難，付出了畢生精力。
孟子曾經說過：“天將降大任於斯人也，必先苦其心誌，勞其筋骨，餓其體膚……”（《以孟子·告於下》）。司馬遷正是如此。他繼承父誌，獨自修史，遇到的困難可想而知。他雖做過太史令，是皇帝的近臣，但實際上卻無什麽實權，而他為人又認真負責、忠於職守，所以隻能在公務暇餘時才能著書立說。雖然在史籍中並沒有任何隻言片語述說其中之甘苦，但是，如果我們看了《史記》的宏大規模，對此便不難想象了。如果說司馬遷殫精竭慮、筆耕不輟的精神令我們讚歎不已的話，那麽他忍辱負重、幽而發憤的毅力和勇氣更令人肅然起敬。
公元前98年，也就是司馬遷著手創作《史記》的第7個年頭，當時他42歲，正處於雄心勃勃、躊躇滿誌之時，巨大的不幸卻突然降臨。
這一年，李陵征戰匈奴，戰敗投降。當時朝中諸官都極盡諂媚之能事，對李陵落井下石。司馬遷其實與李陵並無什麽過甚的交情，但他了解李陵孤軍深入，無援兵支援，投降匈奴實屬萬不得已，最主要的還是他對士大夫們溜須拍馬的醜惡嘴臉十分厭惡，極力為李陵辯護。
司馬遷認為李陵降匈奴確實有“敗其家聲”，但從國家的戰略角度來說，主要責任並不在李陵。因為李陵卻曾不顧犧牲地闖入敵人陣營，連戰十日，所殺過百。可後來李廣利對手下看管不力，以至將李陵是孤軍作戰的消息傳語匈奴，所以匈奴起傾國之兵，將之團團包圍，左右受敵。而李廣利卻坐視不管，不發一兵一卒去救援。即使在這種燃眉之急的情況下，李陵尚能轉戰千裏，後終因救兵不至，遭到失敗。可是那“全軀保妻之臣(包括李廣利在內)，隨而媒孽其短(誣陷和嫁禍於人)”，司馬遷當然是“私心痛之”的。司馬遷這幾句話，不但鞭撻了李廣利的貪生怕死和妒賢嫉能的誤國行為，也揭露了漢武帝因貪色而任用無才無能的親信為統帥的過失。聽後，漢武帝惱羞成怒，“以遷誣罔，欲沮貳師”的罪名，乃“下遷腐刑”。
腐刑又稱宮刑，是當時嚴厲僅次於殺頭的最殘酷的肉刑之一，也是最侮辱人格的刑罰。根據漢朝的法律，即使是死罪，也可以用錢去贖。但是司馬遷一向家貧，不足以自贖，又交遊莫救，左右親近不為一言，可見司馬遷在精神上和肉體上是受到何等的摧殘和迫害，人格上蒙受了多大的侮辱。司馬遷為治學之人，當然對人格和名節十分看重。
司馬遷出獄時，已經將近50了。後來，雖然漢武帝又任命他為中書令，在別人看來似乎是“尊寵任職”，但其實他卻是一個“身殘處穢、動而見尤”的人。在他的《報任安書》中詳細說明了當年他為什麽受宮刑的原因。這篇《報任安書》，是他53歲時寫的，一字一淚，不忍卒讀。這時，他的朋友要他“推賢進士”，被他婉言拒絕了。他認為隻有著作才是自己真正的業績。他的《悲士不遇賦》，就是在他出獄之後寫的，尖銳的抨擊了漢武帝及其集團，敘述了自己的處境。由此可見，嚴刑峻法並沒有擊垮他，奇恥大辱沒有讓他就此妥協。
正因為司馬遷對曆史太熟悉，他深知“衛靈公與雍渠載，孔子適陳；商秋因景監見，趙良寒心”等史事，因此忍受著比常人更大的痛苦。甚至事隔四、五年後，司馬遷曾在致友人益州刺史任安的書信中，憤慨地寫道：“每念斯恥，汗未嚐不發背沾衣也”（《漢書·司馬遷傳》）。他認為被處以官刑已苦不堪言了，其實擔任中書令一職本身就可算是奇恥大辱（因中書今一職均由閑者擔任）了。他在信中還列舉了人生十大不幸，並認為被處以宮刑位於十大不幸之首。突遭飛天橫禍，忍受如此屈辱，司馬遷是靠什麽力量支持著勇敢活下去的呢？他自己形容說：“所以隱忍苟活，函糞土之中而不辭者，很私心有所不盡，鄙沒世而文采不表於後也”，進而發出“人固有一死，或重於泰山，或輕於鴻毛，用之所趣異也”的千古名言，而且自比於“西伯拘而演《周易》，仲尼厄而作《春秋》”，立誌要做重於泰山之人。因此，我們不難看出，司馬遷正是憑借著修國史為己任的高度責任感，才從逆境中奮起的，表露了他高度的自信心。
為李陵正義辯護反而倍受淩辱，這使司馬遷更加清楚的認識了當朝統治者的昏庸。司馬遷出獄後，不僅沒有減少敢於直言的勇氣，而且將之化作了一腔感憤溶於著作中，從而使文章更加深沉雄健，為後人留下了寶貴的精神食糧。