999国内精品永久免费视频,色偷偷9999www,亚洲国产成人爱av在线播放,6080亚洲人久久精品,欧美超高清xxxhd

首頁 新聞 工控搜 論壇 廠商論壇 產(chǎn)品 方案 廠商 人才 文摘 下載 展覽
中華工控網(wǎng)首頁
  P L C | 變頻器與傳動 | 傳感器 | 現(xiàn)場檢測儀表 | 工控軟件 | 人機界面 | 運動控制
  D C S | 工業(yè)以太網(wǎng) | 現(xiàn)場總線 | 顯示調(diào)節(jié)儀表 | 數(shù)據(jù)采集 | 數(shù)傳測控 | 工業(yè)安全
  電 源 | 嵌入式系統(tǒng) | PC based | 機柜箱體殼體 | 低壓電器 | 機器視覺
冬奧會天氣預報人是真人嗎?GAN?模擬仿真?AI虛擬人?
金藍海科技有限公司
收藏本文     查看收藏

模擬仿真|深度學習|GAN|數(shù)字孿生

AI虛擬人|冬奧會|圖像轉(zhuǎn)換|自監(jiān)督學習

隨著模擬仿真、人工智能、深度學習的快速發(fā)展,GAN技術(shù)的脫穎而出給圖神經(jīng)網(wǎng)絡的發(fā)展帶來了巨大保障。

冬奧會天氣預報人是假的?

2022

滿滿的黑科技,絕對是本屆冬奧會的一大亮點。

無論是驚艷的開幕式,還是場館內(nèi)外的建設,無不因為科技,一次次引起輿論的驚嘆。

然而,萬萬沒想到的是,就連給選手和觀眾的天氣實時播報,竟然也達到了一個新的高度:

看到這張圖片,你可能會想,這不是《中國天氣》的主持人馮殊嗎?

但事實并非如此。

圖中在聲情并茂播放天氣的,并不是他本人,而是一個純粹的AI虛擬人——馮小殊。

那么馮小殊是怎樣煉成的呢?

從效果上看很明顯,人類主持人馮殊是他的訓練目標。

馮小殊背后的“殺手锏”是數(shù)字孿生虛擬人技術(shù)。

他之所以能分清面部、表情、肢體動作的整體自然度和本尊真假難辨,主要結(jié)合GAN和深度神經(jīng)網(wǎng)絡渲染技術(shù)。

而且訓練周期只有一周。

值得一提的是,在語音專家模型、嘴巴專家模型和人臉渲染專家模型的訓練下,“馮小殊”準確地學習馮殊的嘴部動作、眼部和面部肌肉之間的協(xié)調(diào)性。

北京冬奧會期間,馮小殊將繼續(xù)播報“冬奧公眾觀賽氣象指數(shù)“,涵蓋戶外觀賽的人體感受和健康提示,包括體感寒涼指數(shù)、穿衣指數(shù)、感冒指數(shù)、凍傷指數(shù)、防曬指數(shù)、護目鏡指數(shù)等氣象指標,為觀賽人群及時傳遞戶外場館精細化氣象指數(shù)服務信息,為公眾健康、安全觀賽提供氣象條件參考依據(jù)。

GAN生成圖像綜述

2022

根據(jù)不同GAN所擁有的生成器和判別器的數(shù)量,可以將GAN圖像生成的方法概括為三類:直接方法,迭代方法和分層方法。

微信圖片_20220209131541.jpg

GAN在圖像生成中的三類方法

直接法

早期GANs都遵循在模型中使用一個生成器和一個判別器的原理,并且生成器和判別器的結(jié)構(gòu)是直接的,沒有分支。如GAN 、DCGAN 、ImprovedGAN,InfoGAN ,f-GAN 和GANINT-CLS 。這類方法在設計和實現(xiàn)上比較容易,通常也能得到良好的效果。

分層法

分層法的主要思想是將圖像分成兩部分,如“樣式和結(jié)構(gòu)”和“前景和背景”,在其模型中使用兩個生成器和兩個鑒別器,其中不同的生成器生成圖像的不同部分,然后再結(jié)合起來。兩個生成器之間的關(guān)系可以是并聯(lián)或串聯(lián)。

以SS-GAN為例,其使用兩個GAN,一個Structure-GAN用于生成表面結(jié)構(gòu),然后再由Style-GAN補充圖片細節(jié),最后生成圖片,整體結(jié)構(gòu)如下所示:

微信圖片_20220209131858.jpg

SS-GAN的分層結(jié)構(gòu)

迭代法

迭代法使用具有相似甚至相同結(jié)構(gòu)的多個生成器,經(jīng)過迭代生成從粗到細的圖像。

以LAPGAN為例:LAPGAN中的多個生成器執(zhí)行相同的任務:最低級別的生成器僅將噪聲向量作為輸入并輸出圖像,而其他生成器都從前一個生成器獲取圖像并將噪聲矢量作為輸入,這些生成器結(jié)構(gòu)的唯一區(qū)別在于輸入/輸出尺寸的大小,每一次迭代后的圖像都擁有更多清晰的細節(jié)。

微信圖片_20220209132237.jpg

LAPGAN的迭代結(jié)構(gòu)

GAN-圖像轉(zhuǎn)換

2022

圖像到圖像的轉(zhuǎn)換被定義為將一個場景的可能表示轉(zhuǎn)換成另一個場景的問題,例如圖像結(jié)構(gòu)圖映射到RGB圖像,或者反過來。該問題與風格遷移有關(guān),其采用內(nèi)容圖像和樣式圖像并輸出具有內(nèi)容圖像的內(nèi)容和樣式圖像的樣式的圖像。圖像到圖像轉(zhuǎn)換可以被視為風格遷移的概括,因為它不僅限于轉(zhuǎn)移圖像的風格,還可以操縱對象的屬性。

圖像到圖像的轉(zhuǎn)換可分為有監(jiān)督和無監(jiān)督兩大類,根據(jù)生成結(jié)果的多樣性又可分為一對一生成和一對多生成兩類:

有監(jiān)督下圖像到圖像轉(zhuǎn)換

在原始GAN中,因為輸出僅依賴于隨機噪聲,所以無法控制生成的內(nèi)容。但cGAN的提出使得我們可以將條件輸入y添加到隨機噪聲z,以便生成的圖像由G(z,y)定義。條件y可以是任何信息,如圖像標注,對象的屬性、文本描述,甚至是圖片。

微信圖片_20220209132645.jpg

CGAN的結(jié)構(gòu)

如果引入圖片作為監(jiān)督信息,cGAN就可以完成一些paired data才能完成的任務,如把輪廓圖轉(zhuǎn)化成真實圖片,把mask轉(zhuǎn)化成真實圖,把黑白圖轉(zhuǎn)化成真實圖等。其中最具代表性的工作為pix2pix:

微信圖片_20220209132943.jpg

pix2pix結(jié)構(gòu)圖

無監(jiān)督圖像到圖像轉(zhuǎn)換

雖然有監(jiān)督下圖像轉(zhuǎn)換可以得到很好的效果,但需要的條件信息以及paired image成為其很大的限制。但如果用無監(jiān)督學習,學習到的網(wǎng)絡可能會把相同的輸入映射成不同的輸出,這就意味著,我們輸入任意xi并不能得到想要的輸出yi。

CycleGAN 、DualGAN  和DiscoGAN突破了這個限制,這幾項工作都提出了一致/重構(gòu)損失(consistent loss),采取了一個直觀的思想:即生成的圖像再用逆映射生成回去應該與輸入的圖像盡可能接近。在轉(zhuǎn)換中使用兩個生成器和兩個判別器,兩個生成器進行相反的轉(zhuǎn)換,試圖在轉(zhuǎn)換周期后保留輸入圖像。

以CycleGAN為例,在CycleGAN中,有兩個生成器,Gxy用于將圖像從域X傳輸?shù)結(jié),Gxy用于執(zhí)行相反的轉(zhuǎn)換。此外,還有兩個判別器Dx和Dy判斷圖像是否屬于該域。

微信圖片_20220209133237.jpg

CycleGAN的生成效果

一對一生成到一對多生成

從pix2pix到CycleGAN系列,再到UNIT,這些方法實現(xiàn)的image-to-image translation不管是有監(jiān)督的還是無監(jiān)督的,都是一對一的,也就是說輸入一張圖片只能產(chǎn)生一種風格,缺乏多樣性。但其實大多數(shù)情況下,image translation是多對多的,也就是一張圖片對應不同風格的轉(zhuǎn)換圖片。比如我們設計衣服時,一張輪廓圖其實可以設計成不同風格的衣服。再比如同一個場景,不同的光照條件就是一個模式,不一定只有白天和黑夜,還可能有傍晚清晨等。

BicycleGAN首先對此進行了嘗試,其在模型中添加隨機噪聲,通過隨機采樣使噪聲得到不同的表達,并在輸出與潛在空間上添加雙向映射。雙向映射指的是:不僅可以由潛在編碼映射得到輸出也可以由輸出反過來生成對應的潛在編碼,這可以防止兩個不同的潛在編碼生成同樣的輸出,避免輸出的單一性。

但直接用不同的隨機噪聲來產(chǎn)生多樣化的結(jié)果,由于mode collapse的存在,很容易訓練失敗。MUNIT和DRITUNIT的基礎(chǔ)上,將latent code進一步細化為內(nèi)容編碼 C和風格編碼 S。不同domain的圖像共享內(nèi)容編碼空間 C 而獨享風格編碼空間 S ,將內(nèi)容編碼C與不同的風格編碼S結(jié)合起來就能得到更棒的多樣性的結(jié)果。

微信圖片_20220209133502.jpg

MUNIT將latent code分為內(nèi)容c和風格c

如下所示,BicycleGAN、MUNIT和DRIT都取得了不錯的生成結(jié)果:

微信圖片_20220209133830.jpg

微信圖片_20220209133921.jpg

微信圖片_20220209134008.jpg

GAN模型分析

2022

穩(wěn)定性差

穩(wěn)定性差指的是GAN在訓練的過程中很難把握好梯度消失和梯度錯誤之間的平衡。我們先看看為什么會出現(xiàn)梯度消失的問題。先關(guān)注判別網(wǎng)絡,若  和  已知,令式(2)的導數(shù)為零,可解得最優(yōu)的判別為:

將其代入到式(7)可得:

其中  。

也就是說,當判別網(wǎng)絡最優(yōu)的時候,生成網(wǎng)絡的目標是最小化分布  和  之間的  散度。當兩個分布相同時  散度為零,即生成網(wǎng)絡的最優(yōu)值  對應的損失為  。

然而實際情況是,當用諸如梯度下降等方式去最小化目標函數(shù)   的時候,生成網(wǎng)絡的目標函數(shù)關(guān)于參數(shù)的梯度為零,無法更新。為什么會出現(xiàn)這種情況呢?原因是  散度本身的特性:當兩個分布沒有重疊的時候,它們之間的  散度恒為  。容易發(fā)現(xiàn)此時目標函數(shù)為0,意味著最優(yōu)判別器的判別全部正確,對所有生成數(shù)據(jù)的輸出均為0,因此對目標參數(shù)求導仍為0,帶來了梯度消失的難題。

因此在實際中,我們往往不將判別網(wǎng)絡訓練到最優(yōu),只進行  次梯度下降,以保證生成網(wǎng)絡的梯度仍然存在。但是如果因為訓練次數(shù)太少導致判別網(wǎng)絡判別能力太差,則生成網(wǎng)絡的梯度為錯誤的梯度。如何確定  這個超參數(shù),平衡好梯度消失和梯度錯誤之間的平衡是個難題,這也是為什么說GAN在訓練時穩(wěn)定性差的原因。

模型坍塌

除了穩(wěn)定性差,GAN在訓練的時候還容易出現(xiàn)模型坍塌的問題。模型坍塌指生成網(wǎng)絡傾向于生成更“安全”的樣本,即生成數(shù)據(jù)的分布聚集在原始數(shù)據(jù)分布的局部。下面我們看看為什么會出現(xiàn)這個問題。

將最優(yōu)判別網(wǎng)絡  代入式(4),得到生成網(wǎng)絡的目標函數(shù)為:

此時,  。其中  屬于有界函數(shù),因此生成網(wǎng)絡的最優(yōu)值更多受逆向KL散度  的影響。

什么是前向和逆向KL散度?以它們?yōu)槟繕诉M行優(yōu)化會帶來什么結(jié)果?我們先看看第一個問題:

KL散度是一種非對稱的散度,在計算真實分布  和生成分布  之間的KL散度的時候,按照順序不同,分為前向KL散度和逆向KL散度:

在前向KL散度中:

當  而  時,  。意味著  的時候,  無論怎么取值都可以,都不會對前向KL散度的計算產(chǎn)生影響,因此擬合的時候不用回避  的點;

當  而  時,  。意味著要減小前向KL散度,  必須盡可能覆蓋  的點。

因此,當以前向KL散度為目標函數(shù)進行優(yōu)化的時候,模型分布  會盡可能覆蓋所有真實分布  的點,而不用回避  的點。

在逆向KL散度中:

當  而  時,  。意味著要減小逆向KL散度,  必須回避所有  的點;

當  時,無論  取什么值,  。意味著  不需要考慮考慮是否需要盡可能覆蓋所有真實分布  的點。

因此,當以逆向KL散度為目標函數(shù)進行優(yōu)化的時候,模型分布  會盡可能避開所有真實分布  的點,而不需要考慮是否覆蓋所有真實分布  的點。

下圖給出了當真實分布為高斯混合分布,模型分布為單高斯分布的時候,用前向KL散度和逆向KL散度進行模型優(yōu)化的結(jié)果,可以發(fā)現(xiàn)使用逆向KL散度進行優(yōu)化會帶來模型坍縮的問題。

因此,基于上述兩個問題,GAN難訓練的問題是出了名的。為了解決這些問題,后續(xù)又有人提出了各式各樣的GAN,例如W-GAN,通過用Wasserstein距離代替JS散度,改善了GAN穩(wěn)定性差的問題,同時一定程度上緩解了模型坍縮的問題。

GAN復原:偉大詩人泰戈爾

2022

當近百年前的黑白影像披上了色彩,它的歷史意義會不會多一層呢?

近日,一段泰戈爾1930年演講珍貴影像被AI修復還原。

微信圖片_20220209135632.gif

那么是運用了什么技術(shù)將泰戈爾影像還原的呢?

RIFE,Deep-Exemplar-based-Video-Colorization,GPEN等一系列人工智能項目為泰戈爾影像的還原做出了巨大貢獻。

微信圖片_20220209140324.jpg

其中RIFE是一個實時視頻插幀方案,能實現(xiàn)老舊影像對高幀率的需求。

微信圖片_20220209140441.gif

另外,在此另一個補幀項目是DAIN。

Deep-Exemplar-based-Video-Colorization是來自一種結(jié)合了圖像檢索與圖像著色的模型。該模型首先會從大量參照圖像中檢索和灰度圖相似的圖像,然后再將該參照圖像的配色方案遷移到灰度圖中,實現(xiàn)了非常好的著色效果。

微信圖片_20220209140546.jpg

GPEN(GAN prior embedded network,GAN先驗嵌入網(wǎng)絡)是新晉開源項目,由國人打造,對亞洲人像還原效果更為出色。

結(jié)果表明,其效果明顯優(yōu)于最先進的嚴重損壞的人臉圖像復原(Blind face restoration)方法。

微信圖片_20220209140711.jpg

還有DeOldify:DeOldify 使用了NoGAN 進行訓練,NoGAN對于獲得穩(wěn)定和豐富多彩的圖像是至關(guān)重要的。

NoGAN 訓練結(jié)合了 GAN (美妙的著色)的好處,同時消除了副作用(如視頻中閃爍對象)。

微信圖片_20220209140818.jpg

除了利用這些開源的AI模型,還結(jié)合了高超的后期技巧,百年前的老北京生活、上海時裝秀才能栩栩如生地出現(xiàn)在人們面前。

微信圖片_20220209140918.gif

藍海大腦液冷GPU工作站(可搭建于 NVIDIA 4 × A100 / 3090 / P6000 / RTX6000;使用 NVLink + NVSwitch的最高GPU通信;4個用于 GPU Direct RDMA的NIC(1:1 GPU比率);最高4 x NVMe用于GPU系統(tǒng)盤,帶有 AIOM雙電源冗余供電系統(tǒng)、防雷擊、防浪涌保護)是提供 GPU 算力的高性能計算,服務于深度學習、科學計算、圖形可視化、視頻處理多種應用場景。藍海大腦液冷GPU工作站為GAN技術(shù)的發(fā)展提供硬件保障。


 

狀 態(tài): 離線

公司簡介
產(chǎn)品目錄

公司名稱: 金藍海科技有限公司
聯(lián) 系 人: 楊峰
電  話: 010-82770520
傳  真:
地  址: 北京市海淀區(qū)西二旗
郵  編: 100000
主  頁:
 
該廠商相關(guān)技術(shù)文摘:
圖數(shù)據(jù)平臺 Neo4j 線上直播于3月23日舉行
誰能在第四代算力革命中脫穎而出?CPU?GPU?算法?數(shù)據(jù)?
綠色數(shù)據(jù)中心“東數(shù)西算”全面啟動!八大樞紐十大集群 - 涉及高性能計算,數(shù)據(jù)集群,水冷散熱
綠色數(shù)據(jù)中心:風冷GPU服務器和水冷GPU服務器綜合分析
人工智能的圖靈計算應用在哪些領(lǐng)域?金融科技?生物醫(yī)藥?
機器學習中的無監(jiān)督學習應用在哪些領(lǐng)域呢?自動駕駛?醫(yī)療影像?卷積神經(jīng)網(wǎng)絡?
建設“綠色計算”,解讀“智算中心”
2021可信隱私計算高峰論壇暨數(shù)據(jù)安全產(chǎn)業(yè)峰會上百家爭鳴
2021信息科學Top10發(fā)展態(tài)勢。深度學習?卷積神經(jīng)網(wǎng)絡?
深度學習技術(shù)是我國制造光刻機彎道超車的機會嗎?
不用深度學習網(wǎng)絡,只需預先設置NAS算法,就能實現(xiàn)AutoML自動機器學習的革命嗎?
更多文摘...
立即發(fā)送詢問信息在線聯(lián)系該技術(shù)文摘廠商:
用戶名: 密碼: 免費注冊為中華工控網(wǎng)會員
請留下您的有效聯(lián)系方式,以方便我們及時與您聯(lián)絡

關(guān)于我們 | 聯(lián)系我們 | 廣告服務 | 本站動態(tài) | 友情鏈接 | 法律聲明 | 不良信息舉報
工控網(wǎng)客服熱線:0755-86369299
版權(quán)所有 中華工控網(wǎng) Copyright©2022 Gkong.com, All Rights Reserved