与北齐的战役开始，杨素向武帝请求率领他父亲的旧部当先锋。武帝同意并赐他竹策，说：“朕将要统大军征讨，所以将此策赐给你。”杨素随齐王宇文宪与北齐战于河阴，以功封清河县子，食邑五日户。这一年授司城大夫。第二年再次从宇文宪攻取晋州。宇文宪率军驻扎于鸡栖原，北齐主率大军杀来，宇文宪畏惧而乘夜逃遁，为齐兵追击，兵多溃散。杨素和勇将十多人尽力苦战，宇文宪仅以身免。

以后，杨素每战都立下功勋。北齐被平定，加开府，改封成安县公，食邑一千五百户，赐粟帛、奴婢、各种牲畜。弟杨慎被封为义安侯。陈将樊毅于洒口筑城抵御，杨素率军把他击走，将樊毅所筑之城夷为平地。北周宣帝即位，杨素袭父爵为临贞县公，以弟杨约为安成公。不久随韦孝宽攻占淮南，杨素别取于盱眙、锺离。

杨素和时为丞相的杨坚结交很深，杨坚对杨素也相当器重，任命他为汴州刺史。杨素到洛阳，恰逢尉迟迥作乱，荥州刺史宇文胄占据武牢响应尉迟迥，杨素不能前往。杨坚拜杨素为大将军，发河内兵打败宇文胄。因功迁徐州总管，进位柱国，封清河郡公，食邑两千户。以杨素之弟杨岳为临贞公。杨坚受禅为隋文帝，加杨素上拄国。隋文帝开皇四年（），拜御史大夫。杨素妻郑氏性格骄悍，杨素一时气愤地说：“我假如作天子，你一定不配作皇后。”郑氏上奏朝廷，说杨素有篡逆之心，杨素因而免官。

隋文帝当时正谋取江南，在此之前，杨素曾屡次陈述攻陈的计谋。所以不久朝廷则拜杨素为信州总管，临行赐钱百万、锦千段、马二百匹。

平叛功高

杨素驻扎永安，造大舰，取名五牙，上面再起楼五层，高百余尺，左右前后设置六根桅竿，各高五十尺，每舰可容战士八百人，舰上旗帜飘扬，次等的取木木木名黄龙，每舰可容兵卒一百人自此以下则平乘、舴艋等各有等级。到大举伐陈时，以杨素为行军元帅，率领战舰驶向三峡。到达流头滩，陈朝将领戚欣以青龙舰百余艘，屯兵数千人，驻守狼尾滩，以阻止隋军进军通道。狼尾滩形势很险要，诸将都觉得很不好攻打。

杨素说：“胜败大计，就在这一次了。假如白天出发，他们能看得见，滩流迅猛，舰船不由人控制，我们就会失利。”于是以夜色为掩护，杨素亲自率黄龙数千艘，令战士口中街枚悄悄而下，派遣勇士领步兵从南岸攻击戚欣别栅，令大将军刘仁恩率骑兵向白沙北岸进发，天亮前发起攻击，戚欣败走。陈兵全被俘虏之后，加以慰劳后遣散，秋毫无犯，陈人很高兴。杨素率领水军东下，船舰布满江上，旌旗兵甲和阳光交相辉映。

杨素坐在平乘大船上，容貌魁梧，容光焕发，陈人望见他威风凛凛，说：“清河公就是江神。”陈守江大将，从北岸凿岸石，系铁索三条，横截上流，以阻止战船通过。杨素和刘仁恩登陆，共同发兵攻打陈军的营栅。陈军队至夜溃败，杨素除去所设铁索。陈水军大将吕仲肃又占据荆门的延州，阻拦隋军。杨素派千人，乘五牙舰船四艘，以柏木桅竿击碎敌舰十余艘，大败敌军。俘获甲士二千余人，吕仲肃单身逃脱。后主陈叔宝遣信州刺史顾觉镇守安蜀城，荆州刺史陈纪镇守公安，他们都惧怕杨素而退走。巴陵以东，没有人敢据守。陈湘州刺史兵阳王陈叔也害怕了，派使者请求投降。

杨素顺流而下至汉口，和秦孝王杨俊会合，最后攻灭陈朝。杨素得胜返朝，拜荆州总管，进爵郢国公，食邑三千户，并食长寿县千户。以杨素子杨玄感为仪同，杨玄奖为清河郡公，赐绢千匹，粟万石，加以金宝，又赐陈后主的妹妹和女妓十四人，封越国公。不久拜纳言，一年以后，转内史令。后来江南人李棱等聚众作乱，大股的有数万人，小股的也有数千人，相互呼应，杀害长官。