DFS60B-S4EK00400神經(jīng)網(wǎng)絡(luò)的圖像視頻編碼器SFM60-H1AT3K02

SFM60-H1AT3K02鄰域合并候選項的運動矢量進(jìn)行運動補償預(yù)測得到多個預(yù)測塊;然后,根據(jù)候選塊位置與像素點的曼哈頓距離對獲得的多個預(yù)測塊進(jìn)行加權(quán)平均得到附加候選項;后,通過率失真優(yōu)化(RDO)從附加候選項和原有候選項中選擇出的合并模式。實驗結(jié)果顯示:在聯(lián)合探索測試模型JEM 7. 0平臺上,所提算法在不同的編碼器配置下均獲得了率失真性能的提升,其中低延遲P幀下達(dá)到了平均1. 34%的比特率節(jié)省。深度神經(jīng)網(wǎng)絡(luò)近年來在人工智能領(lǐng)域進(jìn)展顯著,并引發(fā)廣泛深入研究神經(jīng)網(wǎng)絡(luò)的熱潮,近期基于神經(jīng)網(wǎng)絡(luò)的圖像視頻編碼也成為熱點研究問題之一。系統(tǒng)梳理了基于神經(jīng)網(wǎng)絡(luò)的圖像視頻編碼技術(shù)及進(jìn)展,對基于多層感知機、隨機神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)等框架的圖像壓縮,以及基于深度學(xué)習(xí)的各類視頻編碼工具進(jìn)行了綜述介紹,同時對神經(jīng)網(wǎng)絡(luò)編碼的未來發(fā)展趨勢進(jìn)行了分析與展望。 媒體內(nèi)容如圖像、視頻被廣泛應(yīng)用在廣告、醫(yī)療、娛樂、安防等領(lǐng)域。隨著高畫質(zhì)、浸入式體驗、智能媒體服務(wù)的應(yīng)用極大的增加了需要被傳輸或存儲的數(shù)據(jù)量。過去幾十年里,通過增加額外的計算復(fù)雜度和存儲,圖像視頻編碼的性能大約按照每十年提升50%的速度發(fā)展。就目前而言,一方面是現(xiàn)有的編碼標(biāo)準(zhǔn)已經(jīng)集成了較多的復(fù)雜編碼模塊,繼續(xù)持續(xù)性的提升其編碼性能的難度不斷增大;另一方面,隨著智能應(yīng)用諸如檢測、識別、跟蹤、檢索的快速發(fā)展,這種啟發(fā)式調(diào)整編碼參數(shù)的模式已經(jīng)難以滿足其對于媒體內(nèi)容的應(yīng)用要求。因此探索一些新的編碼框架無論從學(xué)術(shù)角度還是工業(yè)角度都顯得十分有必要。本文針對不同應(yīng)用需求,重點研究了端到端的圖像視頻壓縮方法,并嘗試解決傳統(tǒng)編碼框架無法解決的問題。論文主要貢獻(xiàn)及創(chuàng)新點可概括如下:(1)提出了端到端的人臉圖像壓縮框架。不同于傳統(tǒng)的圖像視頻編碼器那樣根據(jù)不同的失真度量準(zhǔn)則啟發(fā)式的調(diào)節(jié)編碼參數(shù),在所提框架中,編碼參數(shù)可以根據(jù)來自集成的人臉圖像失真度量計算模塊的梯度反饋自動被優(yōu)化。實驗結(jié)果表明所提的方案比JPEG2000提升了71.41%的性能,比WebP提升了48.28%的性能。(2)提出了語義結(jié)構(gòu)化碼流的概念及相應(yīng)的實現(xiàn)方案。不同于傳統(tǒng)的碼流統(tǒng)一用二值化的數(shù)值表示圖像內(nèi)容,語義結(jié)構(gòu)化碼流的每一部分均具有一定的語義作用。因此,所提實現(xiàn)方案能夠僅僅基于部分碼流恢復(fù)其對應(yīng)的目標(biāo),而不需要整體的碼流信息。更重要的,實驗也驗證了一些后續(xù)的識別、分類等任務(wù)可以直接在碼流層面執(zhí)行。(3)提出了一種端到端訓(xùn)練的視頻壓縮框架。

DFS60B-S4EK00400神經(jīng)網(wǎng)絡(luò)的圖像視頻編碼器SFM60-H1AT3K02

SFM60-H1AT3K02在該框架中,本文提出了一種基于塊的用于端到端訓(xùn)練的預(yù)測編碼方法,并基于此構(gòu)建了端到端的視頻壓縮框架。在沒有熵編碼的情況下,實驗結(jié)果表明其能夠達(dá)到和H.264差不多的性能。(4)本文提出了先記憶再回憶的新視頻壓縮思路。與傳統(tǒng)編碼器基于塊的編碼方案不同,在所提框架中,其利用了視頻內(nèi)容的結(jié)構(gòu)信息,將視頻內(nèi)容分解為全局特征和針對每一幀的骨架信息。重建時,基于在機器翻譯領(lǐng)域?qū)ψ⒁饬C制的探索,本文引入注意力機制用來生成每一幀的內(nèi)容。該框架在監(jiān)控視頻人類運動場景下取得了比H.265更高的性能。1055822    SFM60-H1AT4K02                                              
1055830    DGS35-LH401024                                              
1055834    AFM60B-TGLA008192                                           
1055880    DFS60B-BHEA00005                                            
1055888    DFS60A-S4EA15000                                            
1055892    DFS60E-BEEC00500                                            
1055893    DFS60B-S4AM04000                                            
1055894    DFS60B-S4AA00750                                            
1055905    DFS60B-S4EK00400                                            
1055908    DFS60B-TDCA08192                                            
1055909    DFS60E-BHEK01024                                            
1055926    SFM60-HLAB1K02                                              
1055936    DGS35-4K416384                                              
1055953    SRS50S-HSA0-S21                                             
1055954    SRM50S-HSA0-S21                                             
1055972    DFS60B-S1CK10000                                            
1055973    DFS60B-TECK00500                                            
1055974    DFS60E-S4AK00512                                            
1055978    CKS36-AFB40004                                              
1055979    VFS60B-BDAJ02048                                            
1055982    DFS60B-TDCK05000                                            
1055983    AFM60B-S1AL008192                                           
1055984    SFS60-HPAT0K02                                              
1056007    DFS60E-TECA02048                                            
1056034    DFS60B-BHCK00100                                            
1056052    SFS60-HNKB0K02