論文の概要: PHOSA: Photorealistic 3D Sign Avatar Modeling and Benchmark

• arxiv url: http://arxiv.org/abs/2609.29292v1
• Date: Thu, 24 Sep 2026 09:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.81514
• Title: PHOSA: Photorealistic 3D Sign Avatar Modeling and Benchmark
• Title（参考訳）: PHOSA:光リアルな3Dサインアバターモデリングとベンチマーク
• Abstract要約: 私たちは、Deafの専門家と共同で設計された最初の多視点中国語手話データセットであるMVSignを紹介します。 SMPL-Xアノテーションの精度向上のために,身体,手,顔のパラメータを正確に生成するハイブリッドフィッティングパイプラインを開発した。 本稿では, 複雑な調音を捉えるために, 体, 頭部, 手の成分を分離する切り離し符号アバター表現を提案する。
• 参考スコア（独自算出の注目度）: 93.72611137038747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we focus on photorealistic sign avatar modeling, which is crucial for effective communication with the Deaf community and is characterized by complex hand gestures and nuanced facial expressions. To this end, we introduce MVSign, the first multi-view Chinese sign language dataset co-designed with Deaf experts, featuring diverse gestures and rich annotations. For precise SMPL-X annotation, we develop a hybrid fitting pipeline that produces accurate body, hand, and facial parameters and can also be applied to the monocular setting. Building on MVSign, we propose a decoupled sign avatar representation that isolates body, head, and hand components to capture complex articulations, together with a motion-aware sampling strategy to handle motion blur and balance gesture diversity. Extensive experiments demonstrate that our method achieves high-fidelity visual results on MVSign, particularly in detailed hand and facial regions, and generalizes well to in-the-wild monocular sign language videos. Project page: https://naaapi.github.io/PHOSA.
• Abstract（参考訳）: 本研究では,Deafコミュニティとの効果的なコミュニケーションに不可欠であり,複雑な手の動きとニュアンスな表情を特徴とするフォトリアリスティック手形アバターモデリングに着目する。 MVSignは、Deafの専門家と共同で設計された最初のマルチビュー中国語手話データセットで、多様なジェスチャーと豊富なアノテーションが特徴である。 SMPL-Xアノテーションの精度向上のために,身体,手,顔のパラメータを正確に生成し,モノクル設定にも適用可能なハイブリッドフィッティングパイプラインを開発した。 MVSignをベースとして,身体,頭部,手を構成する部品を分離して複雑な調音を捕捉するアバター表現と,動きのぼやけやジェスチャーの多様性のバランスを取るための動作認識サンプリング戦略を提案する。 広汎な実験により,本手法はMVSignの高忠実度な視覚的結果,特に手・顔の細部領域において達成され,Wild の単眼手話ビデオによく応用できることが示された。 プロジェクトページ: https://naaapi.github.io/PHOSA。

関連論文リスト

• SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning [54.232148007248874]
  現在の手話生産(SLP)フレームワークは、まさにトレードオフに直面している。 本研究では,スペースを利用した新たなトレーニングパラダイムを提案し,人間の署名の真の基盤となる分布を捉える。 これらの離散的なアンカーから高密度な動きを予測することにより、流体の調音を確実にしながら、回帰から平均への移動を緩和する。
  論文  参考訳（メタデータ） (2026-03-11T06:02:36Z)
• Audio-Driven Universal Gaussian Head Avatars [66.56656075831954]
  本稿では,音声駆動型ユニバーサルフォトリアリスティックアバター合成法について紹介する。 個人に依存しない音声モデルと私たちの小説Universal Head Avatar Priorを組み合わせたものです。 我々の手法は、外観の詳細なモデリングとレンダリングを考慮に入れた最初の一般的なオーディオ駆動アバターモデルである。
  論文  参考訳（メタデータ） (2025-09-23T12:46:43Z)
• Diverse Signer Avatars with Manual and Non-Manual Feature Modelling for Sign Language Production [20.773821519253534]
  提案モジュールは,異なる民族背景を持つ参照イメージをシームレスに使用し,多様性を確保するとともに,言語内容の保存を確実にすることを示す。 YouTube-SL-25手話データセットの実験は、我々のパイプラインが最先端の手法よりも優れた視覚的品質を達成することを示している。
  論文  参考訳（メタデータ） (2025-08-21T22:16:32Z)
• X-UniMotion: Animating Human Images with Expressive, Unified and Identity-Agnostic Motion Latents [17.536895865783507]
  X-UniMotionは全身の人間の動きを統一的かつ表現的に表現できる潜在性表現である。 提案手法は、1つの画像から4つの非絡み合った潜在トークンのコンパクトな集合への多粒体運動を直接符号化する。 これらの動き潜伏剤は、非常に表現力が高く、同一性に依存しないため、高忠実で詳細な異性間移動を可能にする。
  論文  参考訳（メタデータ） (2025-08-12T22:47:20Z)
• SignAligner: Harmonizing Complementary Pose Modalities for Coherent Sign Language Generation [41.240893601941536]
  我々は、広く使われているRWTH-ENIXPHO-Weather 2014Tデータセットの拡張版であるENIX14T+を紹介し、Pose、Hamer、Smplerxの3つの新しいサイン表現を特徴とする。 また,テキスト駆動のポーズ・モダリティ・コジェネレーション,マルチモーダルのオンライン協調補正,現実的な手話合成の3段階からなる手話生成のための手話生成手法であるSignAlignerを提案する。
  論文  参考訳（メタデータ） (2025-06-13T09:44:42Z)
• Expressive Gaussian Human Avatars from Monocular RGB Video [69.56388194249942]
  EVAは3DガウスとSMPL-Xに基づいて細部を巧みに彫刻する乾燥可能な人間モデルである。 SMPL-XモデルをRGBフレームに整合させることが,効果的なアバター学習において重要であることを強調した。 本稿では,勾配閾値を適応的に調整する適応密度制御戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-03T15:36:27Z)
• From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [107.88375243135579]
  音声を聴くと、顔、体、手を含む個人に対して、ジェスチャー動作の可能性を複数出力する。 ジェスチャーにおいて重要なニュアンスを表現できる高光写実性アバターを用いて生成した動きを可視化する。 実験により,本モデルが適切な多様なジェスチャーを生成することを示し,拡散法とVQ法の両方に優れることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T18:55:16Z)
• Everybody Sign Now: Translating Spoken Language to Photo Realistic Sign Language Video [43.45785951443149]
  難聴者コミュニティが真に理解できるように、手話自動生成システムは、写真リアリスティックなシグナーを生成する必要がある。 我々は、音声言語から直接写真リアリスティックな連続手話ビデオを生成する最初のSLPモデルSignGANを提案する。 次に、ポーズ条件付き人間の合成モデルを導入し、骨格ポーズシーケンスから写真リアルな手話ビデオを生成する。
  論文  参考訳（メタデータ） (2020-11-19T14:31:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。