近日，圖像修復(fù)領(lǐng)域最具影響力的國(guó)際頂級(jí)賽事——New Trends in Image Restoration and Enhancement（NTIRE）結(jié)果出爐，網(wǎng)易互娛AI Lab包攬了高動(dòng)態(tài)范圍成像（HDR）任務(wù)全部2項(xiàng)冠軍。NTIRE比賽每年舉辦一次，目前已是第七屆，主要聚焦圖像修復(fù)和增強(qiáng)技術(shù)，代表相關(guān)領(lǐng)域的趨勢(shì)和發(fā)展，吸引了眾多來(lái)自工業(yè)界、學(xué)術(shù)界的關(guān)注者和參賽者，有著非常大的影響力。今年NTIRE比賽在計(jì)算機(jī)視覺(jué)領(lǐng)域的頂級(jí)會(huì)議CVPR 2022（Computer Vision and Pattern Recognition）上舉辦。
高動(dòng)態(tài)范圍成像（HDR）任務(wù)的賽道1和賽道2分別有197個(gè)隊(duì)伍、168個(gè)隊(duì)伍報(bào)名參加，其中工業(yè)界的隊(duì)伍包括：騰訊、曠視、字節(jié)跳動(dòng)、螞蟻、小米、快手、京東方、Tetras AI等，學(xué)術(shù)界的隊(duì)伍包括：清華大學(xué)、中科院、中國(guó)科學(xué)技術(shù)大學(xué)、上海交通大學(xué)、中山大學(xué)、愛(ài)丁堡大學(xué)、帝國(guó)理工、阿德萊德大學(xué)、新南威爾士大學(xué)、南丹麥大學(xué)等。網(wǎng)易互娛AI Lab從眾多的強(qiáng)隊(duì)中脫穎而出，一舉斬獲該任務(wù)的全部2項(xiàng)冠軍。這是網(wǎng)易互娛AI Lab奪得多項(xiàng)國(guó)際冠軍后，再次登頂國(guó)際AI競(jìng)賽，展現(xiàn)了網(wǎng)易互娛AI Lab在人工智能領(lǐng)域的綜合實(shí)力。
圖1：NTIRE 2022比賽
高動(dòng)態(tài)范圍成像（HDR）任務(wù)是從存在噪聲、過(guò)爆/欠曝區(qū)域等的多幀輸入圖像中，恢復(fù)一張HDR圖像。此次比賽的目標(biāo)是探索高效的HDR模型和技術(shù)方案，以達(dá)到實(shí)用化的使用需求�？傆�(jì)有共兩個(gè)賽道：（1）保真度賽道：在限定模型的計(jì)算量（小于200G GMACs）的基礎(chǔ)上，盡可能取得更高的保真度，評(píng)價(jià)指標(biāo)是PSNR-μ；（2）低復(fù)雜度賽道：在超過(guò)基線(xiàn)模型指標(biāo)（PSNR-μ與PSNR）的基礎(chǔ)上，盡可能取得更低的計(jì)算量和更少的耗時(shí)，評(píng)價(jià)指標(biāo)是GMACs。
由于任務(wù)的兩個(gè)賽道均要求訓(xùn)練高效的HDR模型，網(wǎng)易互娛AI Lab團(tuán)隊(duì)?wèi){借以往對(duì)low-level視覺(jué)任務(wù)和輕量化網(wǎng)絡(luò)設(shè)計(jì)的經(jīng)驗(yàn)積累，在基線(xiàn)模型的基礎(chǔ)上，提出了一個(gè)Efficient HDR網(wǎng)絡(luò)，包括高效的多幀對(duì)齊和特征提取模塊兩個(gè)模塊，同時(shí)優(yōu)化了模型的訓(xùn)練方法。
（1）在多幀對(duì)齊模塊，采用Pixel Unshuffle操作在增大感受野的同時(shí)減少了特征圖的大小，大幅減少了后續(xù)的計(jì)算量。同時(shí)，采用深度可分離卷積替代對(duì)齊模塊中的普通卷積，大幅提高運(yùn)算效率。
�。�2）在特征提取模塊，采用深度可分離卷積替代普通卷積，SiLU激活函數(shù)替代ReLU，設(shè)計(jì)了一個(gè)高效殘差特征蒸餾模塊（Efficient RFDB）。另外，探索了網(wǎng)絡(luò)深度與通道數(shù)目之間的關(guān)系，在限定計(jì)算量下層數(shù)更深且通道數(shù)少的特征提取網(wǎng)絡(luò)，可以獲得更高的評(píng)價(jià)指標(biāo)。
�。�3）在訓(xùn)練方法上，在常規(guī)的128x128圖片輸入L1 Loss訓(xùn)練后，采用了256x256更大尺寸輸入+L2 Loss進(jìn)行訓(xùn)練調(diào)優(yōu)。最后，使用基于SwinIR搭建的Transformer模型作為T(mén)eacher模型，對(duì)前述CNN模型進(jìn)行蒸餾，結(jié)合CNN和Transformer各自的優(yōu)勢(shì)進(jìn)一步提升模型效果。
圖2：技術(shù)方案圖
賽道1中，網(wǎng)易互娛AI Lab（ALONG）提出的方法在PSNR-μ和PSNR上均是第一。如表1所示，主要評(píng)價(jià)指標(biāo)PSNR-μ比第二名高出了0.172，而第二到第四的PSNR-μ差距僅為0.089，相比第五名之后的隊(duì)伍更是拉開(kāi)了0.45以上的差距。
賽道2中，網(wǎng)易互娛AI Lab（ALONG）提出的方法取得了最低的計(jì)算量（GMACs）和最少的參數(shù)量（Param）。如表2所示，在超過(guò)基線(xiàn)方法PSNR和PSNR-μ的基礎(chǔ)上，減少了約40倍的計(jì)算量。相比第二名和第三名有較大領(lǐng)先，僅使用了約一半的計(jì)算量。
表1：賽道1（保真度賽道）結(jié)果排名
表2：賽道2（低復(fù)雜度賽道）結(jié)果排名
此前，網(wǎng)易互娛AI Lab已經(jīng)將比賽中相關(guān)技術(shù)的應(yīng)用于游戲貼圖資源升級(jí)中，實(shí)現(xiàn)對(duì)游戲貼圖、UI等資源的精度和細(xì)節(jié)的提升，目前已應(yīng)用于多個(gè)游戲項(xiàng)目當(dāng)中，為美術(shù)節(jié)省了大量制作時(shí)間。此外，網(wǎng)易互娛AI Lab研發(fā)了一套智能的游戲貼圖資源升級(jí)工具——iPixel，用戶(hù)輸入一張待處理的貼圖資源，便可以針對(duì)性的對(duì)圖片進(jìn)行無(wú)損放大和增強(qiáng)，iPixel還可以消除噪點(diǎn)并恢復(fù)圖像中的細(xì)節(jié)，讓圖片看起來(lái)更加清晰。同時(shí)，該工具所提供自定義全圖和局部處理功能，可以更好的幫助使用者優(yōu)化細(xì)節(jié)，以滿(mǎn)足不同貼圖不同程度的優(yōu)化需求。
網(wǎng)易互娛AI Lab成立于2017年，隸屬于網(wǎng)易互動(dòng)娛樂(lè)事業(yè)群，是游戲行業(yè)領(lǐng)先的人工智能實(shí)驗(yàn)室。目前所研發(fā)的技術(shù)已應(yīng)用于網(wǎng)易互娛旗下多款熱門(mén)游戲，如《夢(mèng)幻西游》、《哈利波特—魔法覺(jué)醒》、《陰陽(yáng)師》、《大話(huà)西游》、《荒野行動(dòng)》、《明日之后》等等。
【免責(zé)聲明】本文僅代表第三方觀點(diǎn)，不代表和訊網(wǎng)立場(chǎng)。投資者據(jù)此操作，風(fēng)險(xiǎn)請(qǐng)自擔(dān)。
最新評(píng)論