本網站的內容指更新到 23/08/31 ,並不會持續更新,因此請注意官方文檔內容。

前言

Wonder Studio 是一個分析影片中真實人物的動作,然後可以做動態追蹤到指定的 3D 模型的服務,可以將影片中的人物轉換成 3D 人物,並且可以自定義角色,並且可以輸出 Blender 檔案,以及可以自動合成背景,這邊將簡單說明如何使用,以及講解該網站的自定義角色規範。


註冊及付費

  1. 先在 Wonder Studio 辦一個帳號,網址: 請點我
  1. 在左邊選單選 Upgrade Plan,記得注意上面是 Annual (年繳) ,還是 Monthly (月繳),這次使用 lite 的方案就好。

  2. lite 帳號每個月大約要 20 鎂,大約是 600 元台幣,可以享有以下的功能:

    • 可以生成 150 秒的影片
    • 六個自定義角色
    • 兩個人的影片
  3. 輸入信用卡號即可完成付費。


建立專案

  1. 按左邊的 Create New Project,並且選擇 Live Action Easy 的分頁按 Contunue。

  2. 上傳一段影片到左邊的影片區。

  3. 影片上傳完成後,將影片拉置中心,接著按上方的 Next 即可分析。

  4. 接著可以將你要角色拉入畫面中的方框處,右邊可以選擇要用預設的角色檔案,還是自定義角色檔案。

  5. 按下上面的 Next,會需要選擇要產生的檔案。 (這邊能勾選的全部都勾選)

    • AI MoCap:會生成AI的骨架檔,但不包含臉臉部表情。格式是FBX。
    • Blender Scence :全部運算的資料,但不包含背景,這個包含角色的shapeKey的表情。格式是Blender。
    • Clean Plate:生成空白的背景。格式為JPG。
  6. 按下 Start Processing 就會開始運算,測試 10 秒的影片大約要跑 1~2 小時,不過運算時間計算似乎不是線性,不管幾秒幾乎都要一個小時以上。

  7. 完成以後在主畫面上面就會出現剛剛運算的影片,並且可以點選要下載的選項。


自定義角色建立與規範

  1. 官方的規範,如果有任何問題可以看一下,不過有點小複雜,當初看有一點久。
  2. 官方的快速開始文檔
  3. 這邊已經假設你的角色已經是T pose,並且已經綁上所有骨架了。

以下將簡單講解 Blender 的規範

  1. 官方最建議的版本為 3.3.1 版本,用其他版本很容易出錯。請注意這個版本會更新。 請在這邊確認版本

命名規範

  1. 請建立一個 Collection 像圖片一樣,並命名為 character

  2. 角色骨架檔案請命名為 角色名_BODY

  3. 骨骼的命名規範請依以下方式命名,以免進入軟體後偵測不到動作,如果有多出的骨骼名稱不用理會沒關係。

    點我看骨架結構
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    - Hips
    - Spine
    - Spine1
    - Spine2
    - Neck
    - Head
    - LeftShoulder
    - LeftArm
    - LeftForeArm
    - LeftHand
    - LeftHandThumb1
    - LeftHandThumb2
    - LeftHandThumb3
    - LeftHandIndex1
    - LeftHandIndex2
    - LeftHandIndex3
    - LeftHandMiddle1
    - LeftHandMiddle2
    - LeftHandMiddle3
    - LeftHandRing1
    - LeftHandRing2
    - LeftHandRing3
    - LeftHandPinky1
    - LeftHandPinky2
    - LeftHandPinky3
    - RightShoulder
    - RightArm
    - RightForeArm
    - RightHand
    - RightHandThumb1
    - RightHandThumb2
    - RightHandThumb3
    - RightHandIndex1
    - RightHandIndex2
    - RightHandIndex3
    - RightHandMiddle1
    - RightHandMiddle2
    - RightHandMiddle3
    - RightHandRing1
    - RightHandRing2
    - RightHandRing3
    - RightHandPinky1
    - RightHandPinky2
    - RightHandPinky3
    - LeftUpLeg
    - LeftLeg
    - LeftFoot
    - LeftToeBase
    - RightUpLeg
    - RightLeg
    - RightFoot
    - RightToeBase
  4. 臉部需要 shapeKeys 控制,請命名內容需要包含 _FACE,例如 dummy_FACE

  5. 命名請勿使用 .,例如:dummy.001,請把 . 換成 _

  6. 材質需要有 _MAT,例如:colt_MAT

    1. 如果在材質裡面有用到圖片或紋理之類的,請至少按照[matName]_TEX_[type].[ext] ,matName可以不用跟MAT一樣,另外要避免使用相同的名稱命名不同材質。
      • 例如:一個衣服的材質圖片:colt01_TEX_DIFF.png
      • 以下是針對不同的材質命名規範
        點我看詳細的材質規則
        1
        2
        3
        4
        5
        6
        7
        8
        9
        10
        11
        12
        13
        14
        15
        16
        17
        18
        - Ambient Oclussion map → _TEX_AO
        - Anisotropy rotation map → _TEX_ANITROPROT
        - Anisotropy weight map → _TEX_ANITROP
        - Bump/Height map → _TEX_BUMP
        - Clearcoat weight map → TEX_COATWEIGHT
        - Diffuse map → _TEX_DIFF
        - Displacement map → _TEX_DISPLACE
        - Emission map → _TEX_EMISSION
        - Emission mask → _TEX_EMISSIONWEIGHT
        - Index of reflection map → _TEX_IOR
        - Metalness map → _TEX_METAL
        - Normal map → _TEX_NORM
        - Opacity/Alpha map → _TEX_OPAC
        - Roughness map → _TEX_ROUGH
        - Specular map → _TEX_SPEC
        - Subsurface Scattering map → _TEX_SSS
        - Thickness (SSS weight) map → _TEX_THICK
        - Transmission weight map → _TEX_TRANSWEIGHT

臉部規範

  1. 官方的臉部說明檔案
  2. 命名規則是根據 Facial Action Coding System (FACS) 搭配 shapeKey 達成。
  3. 總共有 52 種,不一定每一種表情都要對到,可以挑幾個比較重要的做。
  4. ShapeKeys 命名成官方文件上的名稱,就可讓角色有表情變化。
    • 例如下圖的:jawIneyeBlinkR

清理孤立數據

  1. 將 Display mode 改成 Orphan data
  2. 並且按下 Purge
  3. 存檔即可準備上傳。

自定義角色上傳

  1. 到編輯畫面的右邊,按下加號。
  1. 為角色取名並且繼續。
  1. 接下來準備好檔案,丟上依照規範做的 blender 檔案跟材質,拖上去上傳即可,接著等待上傳及驗證。
  1. 不過如果模型有問題,會很容易卡在這一步。

  2. 請注意 lite 帳號只能上傳 6 次角色,之後就要再等一個月才能上傳


遇過的問題解法

Q1:object scale should be applied on Mesh as it currently is (1.0 1.0 1.000000516516)

解法:輸入指定物件的 scale ,即使在blender上看到已經是 1 ,還是重新輸入設定為 1,記得要 apply scale。

Q2:object mesh has no parent armature blender

解法:將指定的 mesh 透過 Modifiers 加入 Armature,並且 Object 選擇你的主要骨架。(請參考下圖)

Q3:如果上傳後發現角色材質怪怪的,一片黑或一片白。

解法:可能是材質命名錯誤,或是部分的功能不支援,先前有遇過如果在 blender 3.6 使用顏色的運算 (下方的黃色框框的內容) 會出錯,因為blender 3.6 已經將 mixRGB 刪除,建議使用blneder 3.4 版本以前的 mixRGB 運算上就不會出錯。

Q4:下載下來材質遺失

去 File > Extremal Data > Find Missing Files ,選擇材質就會回來了。