123,123

青島VR培訓(xùn)中怎么為AR/VR設(shè)計創(chuàng)作3D人物全息

2022-12-23點擊量：3112

近日，體三維視頻捕捉技術(shù)開發(fā)商Volograms本文討論了一系列的解決方案及其優(yōu)缺點，希望能為您提供一些參考。以下是映維網(wǎng)的具體整理：1.虛擬化身可定制虛擬化身(有時稱為合成人類)是我們?nèi)祟愒跀?shù)字空間中的相應(yīng)定制角色，從卡通風格到類人風格。我們最熟悉的例子最熟悉的例子包括Bitmoji、蘋果的Memoji和FacebookAvatars。但事實上，你可以發(fā)現(xiàn)一系列公司使用虛擬化身AR/VR。這種數(shù)字角色通常是高度定制的，允許你輕松改變膚色、頭發(fā)、衣服、配飾、身高等。保真度：我們需要區(qū)分兩種類型：首先，高度程式化的虛擬化身保真度很低，如卡通類型的虛擬化身。它們的優(yōu)點是，你可以成為很難通過外表或動作識別任何角色的人。事實上，即使是3D，我們對卡通角色都很舒服。其他類型的虛擬化身試圖實現(xiàn)高保真度，并使用非�，F(xiàn)實的特征。挑戰(zhàn)是，我們的大腦會自動深入分析它們，而過于現(xiàn)實的類人角色會導(dǎo)致恐怖谷效應(yīng)。有趣的是，該行業(yè)有一個解決方案，允許您自動定制虛擬化身（通常使用一個人的照片）。動畫：一般來說，虛擬化身是為了方便定制調(diào)整和制作動畫而設(shè)計的。根據(jù)虛擬化身解決方案，您將能夠?qū)崿F(xiàn)各種手勢和姿勢。此外，它們可能會附加一個運動庫或允許您導(dǎo)入自己的動作。沉浸感：在這方面，低保真度的虛擬化身往往優(yōu)于試圖實現(xiàn)高保真度的虛擬化身。在大多數(shù)情況下，你不認為你在與真實的人類分享這個空間，但這對你正在做的工作來說可能并不重要。成本：行業(yè)支持和具體支持AR/VR平臺集成的免費卡通解決方案。UnityAssetStore其他標準存儲庫發(fā)現(xiàn)虛擬化身解決方案功能有限，但成本和操作接近人們。另一方面，您可以通過專業(yè)供應(yīng)商找到基于動態(tài)捕獲技術(shù)和人工智能驅(qū)動的高質(zhì)量虛擬化身。時間：通常，定制和配置虛擬化身的動畫是一個非常快速的過程，但前提是您正在使用的工具提供所需的定制和動畫選項。如果需要任何切割，這可能是一個棘手而漫長的過程，或者根本無法實現(xiàn)。例如，您希望移動虛擬化身的眉毛，但相關(guān)工具根本不提供選項。結(jié)論：虛擬化身是一個很好的解決方案，不需要高度逼真或身臨其境的內(nèi)容。動畫和所需的時間使它成為互動內(nèi)容的強大選擇，如訓(xùn)練模擬器或游戲（事實上，傳統(tǒng)的游戲角色可以被視為虛擬化身）。然而，如果你想實現(xiàn)真正的身臨其境，或者你的內(nèi)容給觀眾留下深刻印象，你應(yīng)該找到一個替代品。2.3D設(shè)計人類的3D設(shè)計是一個使用特殊軟件從零開始創(chuàng)建人類角色的過程。你可以把它當作畫像，但這是3D中進行。3D藝術(shù)或?qū)I(yè)設(shè)計師將創(chuàng)建具有特定細節(jié)水平的模型，然后用數(shù)字骨架綁定，使其具有動畫效果。你將得到一個獨特的虛擬化身。當然，要設(shè)計一個與真人相似的細節(jié)特征3D角色，你需要難以置信的專業(yè)知識。頂級的3D專家將根據(jù)角色的個性為數(shù)字人類量身定制視覺外觀。為了降低復(fù)雜性，設(shè)計師通常從預(yù)定義模型、三維掃描和人體模型庫開始，并產(chǎn)生混合技術(shù)和結(jié)果。3D不僅可以設(shè)計角色AR和VR，在過去的電影中也有廣泛的應(yīng)用，比如《指環(huán)王》中的咕嚕聲和《加勒比海盜》中的戴維·瓊斯，《玩具總動員》中的伍迪等等。保真：你可以選擇不同的外觀風格：卡通、現(xiàn)實主義、幻想等。只要有合適的藝術(shù)、工具、時間和預(yù)算，你就可以實現(xiàn)其他方法難以實現(xiàn)的保真。動畫：這取決于3D設(shè)計質(zhì)量。D角色可以動畫到不可思議的細節(jié)水平。頂級工作室甚至使用深度學(xué)習引擎來驅(qū)動設(shè)計，這樣角色的一切，甚至膚色都會隨著動作而略有變化。在實踐中，對于一個普通的身臨其境的項目，你可以使用標準的工具和合理的動畫水平來設(shè)計角色，但不要期望太高的真實性。沉浸感：同樣，這取決于你的設(shè)計質(zhì)量。如果技能高超，三維設(shè)計可以帶來高水平的沉浸感。低質(zhì)量的設(shè)計可能會導(dǎo)致非常令人毛骨悚然的結(jié)果，或者只是給整個身臨其境的體驗帶來低端的印象。成本:根據(jù)你的方法，3D設(shè)計可能是最昂貴的解決方案。您需要內(nèi)部人才來創(chuàng)建設(shè)計和制作動畫，或外包工作。此外，根據(jù)選擇，3D設(shè)計工具和硬件可能需要你付出昂貴的代價。時間：一個3D設(shè)計藝術(shù)可能需要幾個月的時間來發(fā)展一個合適的人類角色。類似地，電影或3A專業(yè)設(shè)計師團隊可能需要幾周的時間來發(fā)展游戲的角色。這個過程可以更快地完成，但它涉及到成本或質(zhì)量的平衡。總結(jié):高端AR/VR內(nèi)容所需的獨特角色不是直接從現(xiàn)實中捕捉到的真實人物，3D設(shè)計可能是最好的解決方案，這種方法經(jīng)常用于游戲和電影杰作。如果你不追求高質(zhì)量，但不能通過定制虛擬角色來獲得所需的結(jié)果，3D設(shè)計也值得你考慮。但當然，前提是你有合適的人才和設(shè)備，以及足夠的預(yù)算。必須根據(jù)您的用例調(diào)整設(shè)計類型。3.3D掃描動畫三維掃描是利用專業(yè)技術(shù)分析現(xiàn)實世界中的人或物，從而生成數(shù)字三維副本的過程。通常稱為數(shù)字孿生或3D掃描。深度傳感器和攝影測量是該行業(yè)最常見的技術(shù)。深度傳感器計算對象與傳感器本身之間的距離，攝影測量使用從不同位置和角度拍攝的照片，并使用特殊軟件組合在一起形成三維模型。就其本身而言，人類的3D掃描就像一個靜止的數(shù)字雕塑，需要用數(shù)字骨綁定和數(shù)字蒙皮，才能動畫。換句話說，模型的關(guān)節(jié)和活動組件需要識別和編程，模型的形狀在這個過程中不會發(fā)生瘋狂的變化。保真:根據(jù)你能負擔得起的預(yù)算，你可以考慮不同的質(zhì)量水平。好萊塢工作室使用高質(zhì)量的3D掃描裝置，但你可以通過智能手機攝像頭實現(xiàn)基本的3D掃描。在動畫過程中會出現(xiàn)保真問題：很難人工綁定三維掃描和蒙皮，這通常會導(dǎo)致機器人或木偶的不自然效果。只有頂級工作室合格3D藝術(shù)團隊可以通過靜態(tài)掃描實現(xiàn)3D的逼真度。目前，自動化工具很少能達到優(yōu)異的效果。動畫：如前所述，這是3D最大限度的掃描D掃描的本質(zhì)是靜態(tài)的。綁定操作和皮皮是不斷的技術(shù)挑戰(zhàn)。如果缺乏熟練的藝術(shù)，標準工具將難以提供令人信服的結(jié)果。然而，如果真實性和沉浸感不是首要任務(wù)，該行業(yè)有一系列值得考慮的軟件解決方案。沉浸感:如果動畫可以高標準拍攝制作，3D3.專家團隊完成D掃描可以實現(xiàn)令人信服的數(shù)字人類，帶來高度沉浸感的體驗。所有質(zhì)量水平為3D掃描會有恐怖谷般的外觀和感覺。成本:如果你想自己做3D掃描，一個3D掃描裝置通常需要你購買幾十個攝像頭和一系列配件。攝影測量軟件的成本是可以接受的，運行重建過程并不是一門深刻的科學(xué)。另一種選擇是雇傭一個3D掃描工作室來完成特定的工作，可能降低成本。如果這兩個選項都不好，你可以用攝像頭從不同的角度捕捉肖像，然后重建，但這將是一個耗時的細節(jié)。同樣，將3D掃描成一個動畫數(shù)字人類，你需要一個擁有優(yōu)秀3的團隊D昂貴的軟件解決方案，專業(yè)知識，甚至不能提供最令人興奮的結(jié)果。時間：如果您有三維掃描設(shè)備或有權(quán)訪問提供服務(wù)的公司，三維模型的捕獲不是一個耗時的過程。正如上面提到的，3D用攝像機從不同的角度捕捉一個人，但這需要時間和專業(yè)水平。標準動畫制作不是一個耗時的過程，但會導(dǎo)致有限的結(jié)果。為了達到一個體面的質(zhì)量水平，你需要更長的時間來完成捕獲過程。你可以參考這篇關(guān)于華納音樂如何成為歌手的文章CARYS粉絲制作經(jīng)驗文章，說明來自3D掃描創(chuàng)建專業(yè)動態(tài)3D使用動捕技術(shù)創(chuàng)建動作后，模型的背后和效果�？偨Y(jié):傳統(tǒng)上，3D掃描和動畫的結(jié)合一直是真人AR和VR或其他3D世界(如游戲)的首選方法。交給合格的3D在設(shè)計師團隊中，這是一個非常強大的工具組合。但在大多數(shù)情況下，你的公司可能缺乏這樣的團隊，所以3D掃描可能不是你的選擇。就像上面的討論一樣，標準的綁定操作和蒙皮技術(shù)會使模型看起來粗糙，有時甚至會產(chǎn)生恐怖谷效應(yīng)。在這種情況下，你會犧牲沉浸感。三維視頻(見下文)可以解決這個問題，你提供了更自然的結(jié)果。當然，如果你在創(chuàng)建一個更長的AR/VR內(nèi)容或多個角色的內(nèi)容意味著比3D動畫掃描更大的文件。4.2DBillboards2DBillboards是集成到3D空間中的普通視頻剪輯，你會覺得它似乎在3D之中。不能真正移動的AR/VR體驗(所謂三自由度/3DOF），這是一個值得考慮的計劃。在這種情況下，即使你的身體移動，你也能感知到虛擬環(huán)境的位置，包括Billboard不會改變。但在糟糕的實現(xiàn)中，Billboards它看起來像電影舞臺上的一塊扁平紙板，打破了沉浸感。保真度:作為視頻，從單個角度看，2DBillboards它可以提供高保真度。但它將局限于一個非常具體的視角，它不能與之相匹配AR/VR體驗提供的3D結(jié)合照明效果，很難描述深度。動畫性：2DBillboards動畫幾乎不可能。你在原始視頻中錄制的內(nèi)容是你搗亂的對象。DeepFake視頻編輯技術(shù)可能會幫助你稍微調(diào)整一下動作，但你不能創(chuàng)建一個互動片段。沉浸感：2DBillboards沒有沉浸感，是的AR/VR這是一個非自然的解決方案。在非常特殊的情況下(3)DOF，具體照明等)，它們可能會達到很好的效果。但即使你一動不動，人眼也會覺得太過2D的元素。一般來說，在沉浸式應(yīng)用程序中，當內(nèi)容不接近用戶位置，深度效果最小時，2DBillboards能起效。成本：這是2DBillboards最大的優(yōu)勢。創(chuàng)建它們意味著制作正常的視頻（是否有綠色屏幕），然后劃分背景。硬件一點也不貴。只要你有合適的軟件或時間，你就不需要特殊的技能來操作它們。以一種看似可靠的方式將內(nèi)容集成到AR/VR體驗可能是更大的挑戰(zhàn)。時間：視頻拍攝速度快，綠屏分割時間不宜過長。因此，所需的時間將在很大程度上取決于您想要集成內(nèi)容的程度。總結(jié)：2DBillboards一般不適合AR/VR體驗。一旦用戶移動，魔咒就會被打破。但我們建議在三種情況下使用2DBillboards：當你的預(yù)算非常有限時，但你真的需要把一個特定的角色帶到體驗中；角色位于愿景中，在用戶永遠不會接近的位置；當你真的只是想AR或VR當空間呈現(xiàn)高清視頻的外觀和感覺時。例如，這可能有助于你準確描述紋理、透明度、頭發(fā)和其他困難D重現(xiàn)在三維視頻中的元素。5.體三維視頻體積視頻是一種捕捉人或物并生成一系列三維模型的技術(shù)。換句話說，體三維視頻是3D掃描就像攝影中的視頻。一般來說，你可以將體三維視頻的每一幀視為3D掃描。因為它直接捕捉現(xiàn)實，你可以用它準確地帶來真實的人類AR/VR之中。你可以從任何角度看到內(nèi)容，因為它是三維的。從技術(shù)上講，體三維視頻就像3D同樣，掃描也是基于多攝像頭裝置，包括深度傳感器。事實上，一個人的三維捕捉設(shè)備與一個3非常相似D掃描設(shè)備只設(shè)置為記錄視頻而不是圖片。保真度：這是三維視頻的關(guān)鍵優(yōu)勢之一。它的優(yōu)點是形狀和動作不是分開生成的，而是直接在3D捕捉移動人物。在沒有高質(zhì)量藝術(shù)的監(jiān)督下，沒有辦法實現(xiàn)這種自然逼真。與其他技術(shù)類似，體三維視頻將根據(jù)您的預(yù)算和部署平臺提供不同級別的保真度。精密裝置配備100多個攝像頭，質(zhì)量非常高。但對于大多數(shù)人來說，這可能是用牛刀殺雞，因為當你使用最先進的三維視頻重建軟件時，你可以使用15個攝像頭獲得非常現(xiàn)實的結(jié)果�；诙鄠€深度傳感器和攝像頭的更簡單的裝置可能會產(chǎn)生具有噪點，低分辨率或根本不是完全三維的低質(zhì)量內(nèi)容。動畫性：體三維視頻和普通視頻一樣不需要動畫。你可以從現(xiàn)實中捕捉AR/VR體驗所需的動作，從而使其具有最大的保真度。反過來，體三維視頻在重新設(shè)置動畫方面受到限制：你可以對其進行綁定操縱并對其進行蒙皮，但有可能會失去原始捕獲的真實性和保真度。與3D掃描相比，它有兩個主要優(yōu)勢：首先，你有關(guān)于人物如何運動的內(nèi)置信息，因此你可以精準地確定驅(qū)動運動的數(shù)字骨骼。其次，你可以使用原始的動作并調(diào)整它們以更好地匹配你的故事（例如，改變時間、視線、方向），而不是完全重新設(shè)置動畫。事實上，有公司專門從事這種體三維內(nèi)容的后期制作。未來，深度學(xué)習系統(tǒng)可能會從原始的體三維視頻中學(xué)習，并用全新的但逼真的動作來實現(xiàn)動畫捕捉。沉浸感：與一個體三維人物共享一個空間將是僅次于現(xiàn)實的交互案例。像視頻一樣，一般的外表和動作，甚至是情緒都是以原始保真度捕捉，這樣的表達和反應(yīng)最為真實。由于它是全三維，所以可以集成到AR或VR空間之中，并且可以從任何角度進行體驗。你同時可以添加一定的效果，例如讓體三維角色注視著用戶。成本：如果你想搭建自己的體三維裝置，最簡單的機器都適合初學(xué)者，而且價格合理，只是不能提供專業(yè)的結(jié)果。最復(fù)雜的裝置可能要花費過百萬美元，但它們可以產(chǎn)生真正高端的結(jié)果。事實上，所需的空間可能是最為昂貴的資源，亦即專門的體三維捕捉空間。如果你與一個體三維捕捉工作室合作進行一次性項目合作，成本會高于2DBillboards和標準虛擬化身，但可能會低于3D設(shè)計或3D掃描+動畫，而且體三維視頻提供了更高的質(zhì)量。一般來說，你不需要專業(yè)的人才，除非你想后期制作或重新制作你的捕獲動畫。時間：這是體三維視頻之于其他方案的優(yōu)勢之一。第一步是捕捉，它所花費的時間和普通的視頻拍攝差不多。過去，處理視頻是一個漫長的過程，但目前的云解決方案已允許處理過程在幾小時，甚至幾分鐘內(nèi)完成。另一個優(yōu)點是，獲得的結(jié)果可以直接從處理管道集成到體驗之中�？偨Y(jié)：如果AR/VR內(nèi)容的關(guān)注點是人，需要以真實方式捕捉人物及相關(guān)的情感和動作，體三維視頻可能是你的最佳選擇。如果你需要在內(nèi)容中加入一個特定的人物，比如名人、品牌大使、公司高管或藝術(shù)家，這一點尤其正確。但需要尤其注意的是：如果你的內(nèi)容具有高度交互性（如游戲），你將需要結(jié)合特定的綁定操縱和蒙皮技術(shù)。6.如何動畫化3D角色？只有兩種方法（2DBillboards和體三維視頻）直接捕捉原始人類的動作。你可能會想知道“我如何以數(shù)字方式動畫化虛擬化身、我自己設(shè)計的3D角色或我的3D掃描呢？“從廣義上講，動畫可以分為兩類：人為動畫：由人類設(shè)計或編程的動作。動作捕捉（mocap）：從真實人物提取的動作。運動是一門人類藝術(shù)。我們對數(shù)字角色中的非自然運動非常敏感。人為動畫的成本可以很低，但它通常無法以高保真都描繪人類的運動和情感。從邏輯上講，動捕解決方案是一個更好的選擇，因為我們能夠捕捉和疊加真實的運動，但這存在代價：高質(zhì)量動捕設(shè)置的成本要高于體三維捕捉設(shè)置。最重要的是評估你的項目的需求。如果保真度和沉浸感對你的項目而言并不重要，你可以高興地選擇人為動作。另外，3D模型的質(zhì)量和運動的質(zhì)量需要齊頭并進。盡管卡通般的設(shè)計可以很好地配合簡單的動作，但為了避免恐怖谷效應(yīng)，逼真的3D設(shè)計需要非常高的運動保真度�？偠灾�，如果你的項目能夠支持不需要動畫的解決方案，如體三維視頻，則相關(guān)解決方案是確保非常自然和高端的人體運動，并且是獲得最具沉浸感效果的最佳方法。如果你依賴動畫，而且擁有預(yù)算，你可以選擇動捕。但最終重要的是，無論選擇的方案是什么，要創(chuàng)造令人信服和身臨其境的內(nèi)容，關(guān)鍵都是你自己的創(chuàng)造力。選擇正確的方法來來創(chuàng)建3D人物非常重要，有時這是一個漫長的過程。以上考慮事項可以幫助你在設(shè)計下一個AR/VR項目時的決策。你要確保為內(nèi)容選擇正確的方法，因為正確的沉浸式體驗有助于建立你的信譽，并帶來更多的客戶和項目合作。...