公元前100年，匈奴新单于且即位。新成立的匈奴政权为了表示友好，全部送还了以前所扣押的汉朝使者。对于这种行为，汉武帝十分赞许，于是封苏武为中郎将，派他同副中郎将张胜带领一百多人的使团，带着大量财物出使匈奴。

苏武到了匈奴以后，顺利地完成了出使任务。就在他准备返回汉朝的时候，匈奴内部发生了动乱。匈奴贵族缑王和汉人虞常等人暗中策划绑架单于的母亲，然后一齐投向汉朝。虞常正好认识苏武的副使张胜，于是就偷偷联系张胜，将这个消息告诉了张胜，希望得到他的支持。张胜同意了，而且给了他许多财物。

由于部下的告密，虞常等人叛乱的消息走漏。单于派兵攻击了他们，结果缑王等人战死，而虞常则被活捉。听到这个消息之后，张胜才把他私底下和虞常的交往告诉苏武，并且担心受到牵连。苏武知道如果事情败露，他们肯定会受到牵连，与其受辱而死，牵连国家，不如自杀，但却被部下劝阻了。

结果虞常果然供出了张胜，匈奴单于十分生气，想杀掉汉朝使者，但后来有人建议与其杀掉他们，不如想办法让他们投降，这样的惩罚更重一些。于是单于派卫律去劝说苏武。卫律本来也是汉朝派往匈奴的使者，虞常本是卫律的部下。但后来卫律投降了匈奴，匈奴单于很器重他，封他为王。

面对卫律劝降，苏武说：“我是汉朝的使臣，如果丧失了气节，违背了使命，那我还有什么脸面活着回去见人！”话刚说完，就拔出刀来自刎。卫律吃了一惊，急忙把苏武抱住，但苏武已经由于受伤过重昏过去了。于是卫律急忙派人骑快马找医生来抢救，苏武才慢慢地苏醒过来。

匈奴单于觉得苏武是个有气节的人，十分佩服他。他经常派人来探望苏武，而张胜等人则早就被关起来了。

等到苏武的伤痊愈了之后，单于要求苏武一起参与审判虞常，企图借这个机会来迫使苏武投降。卫律先是将虞常处死，然后又举剑威胁张胜，张胜怕死，请求投降。卫律对苏武说：“你的副手有罪，应该连坐到你。”苏武说：“我既没有参与谋划，又不是他的亲属，为什么要连坐？”卫律又举剑威胁苏武，苏武视死如归，岿然不动。卫律没办法，又希望用荣华富贵来打动他。他对苏武说：“我也是迫不得已才投降匈奴的，但是单于对我很好，他赐给我爵位，封我为王，而且给我数万奴隶和满山的牛羊马匹，使我有享不尽的荣华富贵。您如果现在投降的话，将来也跟我一样，现在又何必白白地送掉性命呢？况且你若是投降的话，咱俩就结为兄弟，否则以后你再想见我都不可能了。”

苏武听了之后大怒，痛骂卫律：“你是汉人的臣子和儿子，却背叛汉朝，抛弃家人，在异族那里做了大官。况且单于信任你，才叫你决定别人的生死，你却不主持公道。你还有什么脸面来和我说话，我为什么要见你呢？无论你怎么说，我都不会投降的。”卫律看见苏武反应如此强烈，知道再不可能威胁他投降，于是灰溜溜地回去向单于报告。但是单于却更加钦佩苏武，越发想让他投降，于是派人把苏武囚禁在地窖里，而且不给他水和食物，想通过这种折磨让苏武屈服。当时正是冬天，天降大雪。苏武渴了就吃雪止渴，饿了就吃毡毛充饥。如此忍饥挨饿，艰难度日，过了好几天，他居然没有死。单于觉得很神奇，但却不甘心就此罢手，便把苏武放逐到北海无人的地方，让他去放牧公羊，还对苏武说：“等到公羊生了小羊，就放你回去。”另外把他的部下常惠等人安排到别的地方，不让他们互通消息。

苏武到了北海之后，匈奴不给粮食，他只好挖野鼠洞里储藏的野果和草根来充饥。陪伴他的只有一根代表汉朝的旌节，他不论吃饭睡觉都拿着它。时间久了，旌节上的牦牛尾穗子全部都掉了。过了几年，单于的弟弟於王到北海打猎，由于苏武会编网和校正弓箭，得到了於王的赏识，于是供给他衣服、食物、马匹、牲畜和帐篷。但后来於王因病去世，苏武的牛羊也被人所盗，他再次陷入困顿。