与北齐的战役开始杨素向武帝请求率领他父亲的旧部当先锋武帝同意

与北齐的战役开始，杨素向武帝请求率领他父亲的旧部当先锋。武帝同意并赐他竹策，说：“朕将要统大军征讨，所以将此策赐给你。”杨素随齐王宇文宪与北齐战于河阴，以功封清河县子，食邑五日户。这一年授司城大夫。第二年再次从宇文宪攻取晋州。宇文宪率军驻扎于鸡栖原，北齐主率大军杀来，宇文宪畏惧而乘夜逃遁，为齐兵追击，兵多溃散。杨素和勇将十多人尽力苦战，宇文宪仅以身免。

以后，杨素每战都立下功勋。北齐被平定，加开府，改封成安县公，食邑一千五百户，赐粟帛、奴婢、各种牲畜。弟杨慎被封为义安侯。陈将樊毅于洒口筑城抵御，杨素率军把他击走，将樊毅所筑之城夷为平地。北周宣帝即位，杨素袭父爵为临贞县公，以弟杨约为安成公。不久随韦孝宽攻占淮南，杨素别取于盱眙、锺离。

杨素和时为丞相的杨坚结交很深，杨坚对杨素也相当器重，任命他为汴州刺史。杨素到洛阳，恰逢尉迟迥作乱，荥州刺史宇文胄占据武牢响应尉迟迥，杨素不能前往。杨坚拜杨素为大将军，发河内兵打败宇文胄。因功迁徐州总管，进位柱国，封清河郡公，食邑两千户。以杨素之弟杨岳为临贞公。杨坚受禅为隋文帝，加杨素上拄国。隋文帝开皇四年（），拜御史大夫。杨素妻郑氏性格骄悍，杨素一时气愤地说：“我假如作天子，你一定不配作皇后。”郑氏上奏朝廷，说杨素有篡逆之心，杨素因而免官。

隋文帝当时正谋取江南，在此之前，杨素曾屡次陈述攻陈的计谋。所以不久朝廷则拜杨素为信州总管，临行赐钱百万、锦千段、马二百匹。

平叛功高

杨素驻扎永安，造大舰，取名五牙，上面再起楼五层，高百余尺，左右前后设置六根桅竿，各高五十尺，每舰可容战士八百人，舰上旗帜飘扬，次等的取木木木名黄龙，每舰可容兵卒一百人自此以下则平乘、舴艋等各有等级。到大举伐陈时，以杨素为行军元帅，率领战舰驶向三峡。到达流头滩，陈朝将领戚欣以青龙舰百余艘，屯兵数千人，驻守狼尾滩，以阻止隋军进军通道。狼尾滩形势很险要，诸将都觉得很不好攻打。

杨素说：“胜败大计，就在这一次了。假如白天出发，他们能看得见，滩流迅猛，舰船不由人控制，我们就会失利。”于是以夜色为掩护，杨素亲自率黄龙数千艘，令战士口中街枚悄悄而下，派遣勇士领步兵从南岸攻击戚欣别栅，令大将军刘仁恩率骑兵向白沙北岸进发，天亮前发起攻击，戚欣败走。陈兵全被俘虏之后，加以慰劳后遣散，秋毫无犯，陈人很高兴。杨素率领水军东下，船舰布满江上，旌旗兵甲和阳光交相辉映。

杨素坐在平乘大船上，容貌魁梧，容光焕发，陈人望见他威风凛凛，说：“清河公就是江神。”陈守江大将，从北岸凿岸石，系铁索三条，横截上流，以阻止战船通过。杨素和刘仁恩登陆，共同发兵攻打陈军的营栅。陈军队至夜溃败，杨素除去所设铁索。陈水军大将吕仲肃又占据荆门的延州，阻拦隋军。杨素派千人，乘五牙舰船四艘，以柏木桅竿击碎敌舰十余艘，大败敌军。俘获甲士二千余人，吕仲肃单身逃脱。后主陈叔宝遣信州刺史顾觉镇守安蜀城，荆州刺史陈纪镇守公安，他们都惧怕杨素而退走。巴陵以东，没有人敢据守。陈湘州刺史兵阳王陈叔也害怕了，派使者请求投降。

杨素顺流而下至汉口，和秦孝王杨俊会合，最后攻灭陈朝。杨素得胜返朝，拜荆州总管，进爵郢国公，食邑三千户，并食长寿县千户。以杨素子杨玄感为仪同，杨玄奖为清河郡公，赐绢千匹，粟万石，加以金宝，又赐陈后主的妹妹和女妓十四人，封越国公。不久拜纳言，一年以后，转内史令。后来江南人李棱等聚众作乱，大股的有数万人，小股的也有数千人，相互呼应，杀害长官。