從2023年至今,大模型與軟件工程各環(huán)節(jié)深度融合,為軟件工程全生命周期流程帶來革新,新一代智能化軟件工程(AI4SE)進(jìn)入快速發(fā)展期。AI4SE在金融、軟件、互聯(lián)網(wǎng)、科技等行業(yè)的落地成效已逐漸顯現(xiàn),發(fā)展態(tài)勢(shì)逐漸明朗。繁榮增長(zhǎng)的背后,也潛藏著諸多挑戰(zhàn)和問題需各個(gè)擊破。
觀察一:三類大模型繁榮發(fā)展,筑牢AI4SE的AI能力底座
智能化軟件工程領(lǐng)域持續(xù)涌現(xiàn)出以代碼大模型為首的三類大模型,代碼大模型數(shù)量最多,運(yùn)維和測(cè)試大模型次之。代碼大模型以其強(qiáng)大的代碼理解注釋、代碼生成補(bǔ)全、代碼檢查優(yōu)化、研發(fā)問答等能力,助力軟件編碼效率和質(zhì)量的提升。運(yùn)維大模型當(dāng)前重點(diǎn)關(guān)注運(yùn)維知識(shí)問答、工單處理等方面,未來將從故障識(shí)別、故障預(yù)測(cè)、運(yùn)維安全等多維度推動(dòng)AIOps全過程智能水平提升。測(cè)試大模型相較而言數(shù)量較少,目前大量單測(cè)用例生成依靠通用大模型或代碼大模型而實(shí)現(xiàn)高覆蓋率和高完備度,測(cè)試大模型需尋找到測(cè)試階段獨(dú)特的發(fā)力點(diǎn),從真正意義上提升測(cè)試能力。
圖1 智能化軟件工程相關(guān)大模型一覽
觀察二:智能化能力在軟件工程多環(huán)節(jié)賦能,成效漸顯
中國(guó)信息通信研究院持續(xù)開展智能化軟件工程行業(yè)研究,并根據(jù)AI4SE“銀彈”案例數(shù)據(jù)、調(diào)查問卷反饋數(shù)據(jù)及企業(yè)走訪調(diào)研數(shù)據(jù),對(duì)行業(yè)進(jìn)行深度觀察和分析。
一方面,軟件開發(fā)和測(cè)試階段應(yīng)用AI提效最明顯。受訪企業(yè)中,超70%的企業(yè)在軟件開發(fā)階段應(yīng)用了大模型等AI技術(shù),其次是軟件測(cè)試也超過了60%。而在軟件工程各階段中,測(cè)試和開發(fā)過程應(yīng)用AI技術(shù)后提效(人效)最為明顯,其次是運(yùn)維。
圖2 軟件工程各階段AI技術(shù)應(yīng)用比例及提效數(shù)據(jù)
另一方面,智能編碼工具應(yīng)用成效初顯。近半數(shù)受訪企業(yè)的代碼采納率集中于20%~40%之間,超60%受訪企業(yè)的代碼生成占比集中于在10%~30%之間。代碼采納率是指智能生成的代碼中被開發(fā)人員采納的比例,代碼生成占比是指項(xiàng)目代碼總數(shù)中智能生成的代碼的占比。
圖3 代碼采納率及代碼生成占比
觀察三:智能編碼能力建設(shè)成熟度逐步提升
從調(diào)研的三十多家金融、互聯(lián)網(wǎng)、軟件服務(wù)等領(lǐng)域企業(yè)建設(shè)情況看,目前業(yè)界普遍在簡(jiǎn)單的基礎(chǔ)功能建設(shè)上發(fā)力較多,在代碼靜態(tài)檢查、研發(fā)問答、代碼生成與補(bǔ)全等能力上的建設(shè)較為成熟,在代碼動(dòng)態(tài)檢查、開發(fā)文檔生成、代碼架構(gòu)分析等能力方面的建設(shè)在持續(xù)改進(jìn)提升,這些方面將考慮實(shí)際需求和技術(shù)實(shí)現(xiàn)難度逐步推進(jìn)。
圖4 智能編碼能力建設(shè)情況調(diào)研結(jié)果
觀察四:智能測(cè)試成為2024年關(guān)注焦點(diǎn),落地過程諸多挑戰(zhàn)亟待突破
一方面大模型的加持,從不同程度上輔助測(cè)試領(lǐng)域各環(huán)節(jié)提升智能化水平。大模型有望重塑測(cè)試計(jì)劃、測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行、測(cè)試報(bào)告和測(cè)試分析等測(cè)試領(lǐng)域各環(huán)節(jié),大模型擅長(zhǎng)文稿生成、單測(cè)用例、測(cè)試數(shù)據(jù)和腳本的生成,其他方面有待提升改進(jìn)。
另一方面當(dāng)前智能測(cè)試面臨著模型技術(shù)層、工程化層、應(yīng)用層多方面的挑戰(zhàn)。在模型技術(shù)上,大模型的理解能力有限,當(dāng)前大多數(shù)模型對(duì)多模態(tài)的需求文檔和復(fù)雜的工程架構(gòu)的理解不夠準(zhǔn)確,且高質(zhì)量的私域調(diào)優(yōu)數(shù)據(jù)準(zhǔn)備較為困難。在工程化上,一是基于Agent構(gòu)建的智能測(cè)試方案,目前僅限于一些簡(jiǎn)單任務(wù)和場(chǎng)景,而多樣化的測(cè)試環(huán)境中,Agent受到技術(shù)和算法能力的限制,其可落地的具體方向仍有待探索;二是新型智能化能力與已有測(cè)試工具的融合問題待突破;三是全面的模型能力評(píng)估有待研究;四是模型安全可信仍有待加強(qiáng)。在應(yīng)用上,存在著生成數(shù)據(jù)內(nèi)容關(guān)聯(lián)性差、應(yīng)用成效的統(tǒng)計(jì)缺失、智能化水平的衡量無規(guī)范等挑戰(zhàn)。