首頁 > 區(qū)塊鏈 > 魔改 Stable Diffusion，開源創(chuàng)新“單目深度估計(jì)”模型

魔改 Stable Diffusion，開源創(chuàng)新“單目深度估計(jì)”模型

時間：2024-01-02 10:31:47

來源：hao86下載

區(qū)塊鏈

【#區(qū)塊鏈# #魔改 Stable Diffusion，開源創(chuàng)新“單目深度估計(jì)”模型#】

文章來源：AIGC開放社區(qū)

圖片來源：由無界 AI生成

單目深度估計(jì)一直是計(jì)算機(jī)視覺領(lǐng)域的難點(diǎn)。僅憑一張 RGB 圖像，想要還原出場景的三維結(jié)構(gòu)，在幾何結(jié)構(gòu)上非常不確定，必須依賴復(fù)雜的場景理解能力。

即便使用更強(qiáng)大的深度學(xué)習(xí)模型來實(shí)現(xiàn)，也面臨算力需求高、圖像數(shù)據(jù)注釋量大、泛化能力弱等缺點(diǎn)。

為了解決這些難題，蘇黎世聯(lián)邦理工學(xué)院的研究人員開發(fā)了Marigold模型。Marigold不需要從零開始訓(xùn)練，而是在Stable Diffusion（著名開源文生圖模型）的基礎(chǔ)上進(jìn)行微調(diào)，只需要使用合成數(shù)據(jù)微調(diào)了中間的去噪網(wǎng)絡(luò),其他模塊例如，編碼/解碼結(jié)構(gòu)均保持原樣,極大降低了訓(xùn)練成本。

實(shí)驗(yàn)數(shù)據(jù)顯示，盡管Marigold從未直接學(xué)習(xí)過真實(shí)的深度信息，但在真實(shí)場景的測試中，其性能卻超越了其他專門訓(xùn)練過的模型，并且遷移、兼容性非常強(qiáng)。

開源地址：https://github.com/prs-eth/Marigold

論文地址：https://arxiv.org/abs/2312.02145

Marigold的核心技術(shù)思路是，利用Stable Diffusion模型所捕獲的豐富先驗(yàn)知識，來提升深度估計(jì)的泛化能力和性能。

簡單來說，就是把Stable Diffusion當(dāng)成一個圖片查詢數(shù)據(jù)庫，只修改其去噪模塊，就變成了可實(shí)現(xiàn)單目深度估計(jì)的全新模型。

Marigold的關(guān)鍵點(diǎn)在于保持預(yù)訓(xùn)練擴(kuò)散模型的潛在空間，只對去噪U-Net進(jìn)行修改和微調(diào)。

這種方法非常高效，無需實(shí)際深度圖像的訓(xùn)練數(shù)據(jù)，就能在多個真實(shí)數(shù)據(jù)集上取得出色的性能表現(xiàn)。

Marigold提供了一個簡單而資源高效的微調(diào)協(xié)議，將預(yù)訓(xùn)練的擴(kuò)散生成模型轉(zhuǎn)化為圖像條件的深度估計(jì)器，成為了一種功能強(qiáng)大的單目深度估計(jì)模塊。

Marigold通過使用合成的RGB-D數(shù)據(jù)以及在一塊消費(fèi)級顯卡上只訓(xùn)練了幾天，將Stable Diffusion轉(zhuǎn)化為Marigold模型。主要流程如下：

去噪U-Net

研究人員主要通過修改和微調(diào)Stable Diffusion模型的去噪U-Net模塊，來實(shí)現(xiàn)深度估計(jì)。去噪U-Net是一個編碼器-解碼器結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，用于從輸入圖像中學(xué)習(xí)去除噪聲的表示。

在Marigold模型中，研究人員保持了擴(kuò)散模型的潛空間不變，只對去噪U-Net模塊進(jìn)行微調(diào)，以適應(yīng)深度估計(jì)任務(wù)。