【#區(qū)塊鏈# #清華、斯坦福、加大開源，圖片生成高精準3D模型#】
原文來源：AIGC開放社區(qū)
圖片來源：由無界 AI生成
隨著ChatGPT的出現(xiàn)以及廣泛應用，通過文本生成文本、視頻、音頻等內(nèi)容，成為實現(xiàn)技術(shù)民主化的關(guān)鍵手段。
在3D模型領(lǐng)域通過文本生成并不成熟，多數(shù)方法是通過圖片。而該方法存在生成時間長、缺乏細節(jié)、難以匹配圖像等缺點。
加州大學、清華大學、斯坦福大學共同開發(fā)了全新模型“One-2-3-45++”并將其開源。該模型僅通過圖片，就能在1分鐘內(nèi)將一張RGB圖像轉(zhuǎn)換為高精準3D模型，這對于游戲開發(fā)、3D建模等領(lǐng)域，可以節(jié)省大量開發(fā)時間。
研究人員在包含1030個3D對象的GSO數(shù)據(jù)集上與多個基準方法進行了比較。測試數(shù)據(jù)顯示，One-2-3-45++在幾何相似度、CLIP相似度指標上均優(yōu)于基準方法。
在包含50多名真實用戶的評估數(shù)據(jù)顯示,87.6%表示One-2-3-45++生成的結(jié)果，優(yōu)于其他方法,質(zhì)量更高、更符合輸入圖像。
開源地址：https://github.com/SUDO-AI-3D/One2345plus
論文地址：https://arxiv.org/abs/2311.07885
在線demo：https://www.sudo.ai/3dgen
One-2-3-45++的核心技術(shù)原理主要包括三大塊：一致的多視角圖像生成、基于多視角的3D重建以及紋理優(yōu)化。
一致的多視角圖像生成
這一模塊的作用是從單個輸入圖像中生成多個視角一致的圖像。One-2-3-45++一共可生成6個視角的圖像,布局是一個3x2的矩形網(wǎng)格,分別對應不同的相機位置。
為了避免生成的3D形狀存在方向歧義,這6個相機位姿使用絕對高度角以及相對方位角來定義，同時使用了預訓練文生圖模型Stable Diffusion作為生成器。
此外，使用了Objaverse數(shù)據(jù)集中的3D形狀進行微調(diào)。對每個3D形狀,生成3個訓練樣本,分別對應不同的輸入圖像視角。同時使用統(tǒng)一的HDR環(huán)境光進行渲染，以提升細節(jié)、光影效果。
上一個模塊我們已經(jīng)有了6個對象的多視角圖片,這個模塊就是要把二維的圖片轉(zhuǎn)換成3D模型。
具體做法是先用6張圖片生成一個低分辨率的三維體積元素,近似表示整體形狀。然后在體積元素里面生成更高分辨率的“體積元素”,捕捉表面細節(jié)。
體積元素就是用小立方體組成的三維矩陣。這里有兩種體積元素,一種SDF體積元素,記錄了一個位置到物體表面的距離;另一種是顏色體積元素,記錄一個位置到物體表面最近點的顏色。
同時這6張圖片是生成體積元素的條件，先從圖片里提取二維特征,然后反投影到三維空間構(gòu)建一個三維特征體,這個體包含了多視角的先驗信息,可以指導三維模型體積元素的生成。
經(jīng)過前面兩個步驟生成的3D模型，在顏色、質(zhì)量、紋理方面還比較粗糙，所以需要進行優(yōu)化達到最終效果。同樣可以利用前面6個視角的圖像，來增強最終網(wǎng)格模型的紋理質(zhì)量。
方法是固定住網(wǎng)格的三維結(jié)構(gòu)不變,僅優(yōu)化表示顏色的網(wǎng)絡(luò)。每次迭代中,用當前的顏色網(wǎng)絡(luò)渲染網(wǎng)格,生成二維圖片。然后與之前生成的多視角圖片計算損失,更新顏色網(wǎng)絡(luò)。
這樣通過不斷地優(yōu)化,網(wǎng)格表面的顏色信息會逐漸跟多視角圖片越來越接近,從而實現(xiàn)紋理的提升。
相關(guān)推薦
相關(guān)文章
更多>>
資訊排行
同類軟件下載
果凍模型3D 益智休閑
人體解剖3D模型 學習工具
我愛拼模型3D 動作冒險
3D造3D打印 學習工具
Knots 3D(3D繩結(jié)) 生活實用
我愛拼模型3D蘋果版 動作冒險
魔塔3D 角色扮演
3D空間 辦公效率
組裝3D 益智休閑
Shift It 3D 益智休閑
熱門標簽
回頂部
