論文の概要: SignMimic: Robust High-Quality Sign Language Motion Generation via Human-Shape-Oblivious Pose Transfer Guidance
- arxiv url: http://arxiv.org/abs/2609.14122v1
- Date: Sat, 12 Sep 2026 19:57:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.705294
- Title: SignMimic: Robust High-Quality Sign Language Motion Generation via Human-Shape-Oblivious Pose Transfer Guidance
- Title（参考訳）: SignMimic: 人型球形移動誘導によるロバストな高品質手話運動生成
- Abstract要約: 我々は、運転と単一の参照フレームが与えられたら、ターゲットシグナが元の動きを再現する映像を合成する、手話模倣の課題について研究する。
以前のパイプラインは、剛性運動、非剛性変形、およびモノリシック発電機におけるビュー依存補完を絡み合わせる。
i)大域的なポーズを安定させるためにTNetモデルを適用したSgnimic(i)、(ii)細粒度調音器(手/顔)とNIF2Dによる結節の保存のために標準空間で厳密な適応を行うSgnimic(iii)、(iii)について述べる。
- 参考スコア（独自算出の注目度）: 7.47809638392782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the challenge of sign language video mimicking: given a driving video and a single reference frame, synthesize a video where the target signer reproduces the source motion while preserving identity and linguistic form. Prior pipelines entangle rigid motion, non-rigid deformation, and view-dependent completion in a monolithic generator, causing handshape drift and spatio-temporal instability. We present SignMimic, which (i) applies a TNet-based model to study SE(3) rigid canonicalization to stabilize global pose, (ii) performs non-rigid adaptation in a canonical space to preserve fine-grained articulators (hands/face) and coarticulation via NIF2D, and (iii) uses Pose-MAE-style completion before conditional video diffusion. This factorization injects geometric and linguistic priors, yielding shape and spatio-temporal consistency. On several large-scale datasets (ASL 50K, How2Sign, CSL News), SignMimic achieves state-of-the-art-level performance on video quality, identity similarity, and frame continuity while also achieving minimal loss when performing back translation (SLT) on generated videos. Ablations confirm the role of rigid canonicalization, non-rigid adaptation, and completion. Code, model checkpoints, and video examples will be released.
- Abstract（参考訳）: 我々は、運転映像と単一の参照フレームが与えられた場合、ターゲットシグナーが同一性や言語形態を保ちながら元の動きを再現する映像を合成する、手話ビデオ模倣の課題について検討する。
以前のパイプラインは、剛性運動、非剛性変形、およびモノリシック発電機におけるビュー依存の完成を絡み合わせ、ハンドシェイプドリフトと時空間不安定を引き起こす。
SignMimicを紹介します。
(i)TNetモデルを用いてSE(3)厳密な正準化を研究し、グローバルなポーズを安定化させる。
(二)NIF2Dによるきめ細かい調音器(手/顔)及び結節を保存するための標準空間における非剛性適応を行い、
(iii)条件付きビデオ拡散の前に、Pose-MAEスタイルの補完を使用する。
この分解は幾何学的および言語学的先行を注入し、形状と時空間的一貫性をもたらす。
いくつかの大規模データセット(ASL 50K, How2Sign, CSL News)では、SignMimicは、ビデオ品質、アイデンティティの類似性、フレーム継続性に関する最先端のパフォーマンスを達成すると同時に、生成されたビデオ上での逆翻訳(SLT)の実行時の損失を最小限に抑える。
アブレーションは堅固な正準化、非剛性適応、および完備化の役割を裏付ける。
コード、モデルチェックポイント、ビデオ例がリリースされる。
関連論文リスト
- RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation [85.41886214825894]
クロスアイデンティティキャラクタアニメーションは、基準画像からターゲットアイデンティティを駆動し、駆動ビデオからソースキャラクタの動きに従うことを目的としている。
本稿では,移動制御から空間マッピングを分離するフレームワークであるReference-Aware Structure Alignment (RASA)を紹介する。
我々の研究は、不整合空間と動きの先行がロバストなキャラクターアニメーションの鍵となることを示す新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-08-28T11:36:44Z) - SignNet-1M: Large-Scale Multilingual Sign Language Video Dataset with Downstream Benchmarks [41.59280653082095]
SignNet-1Mは、ASL、CSL、ドイツ手話(DGS)にまたがる大規模な拡張データセットである。
ノベルビューレンダリング(回転とズーム)、シーン/アイデンティティの編集、レンダリング後の拡張という3つの軸に沿って現実的なバリエーションを合成する。
SignNet-1Mによるトレーニングは、クロスビュー、クロスバックグラウンド、クロスアイデンティティ、ポストレンダリングシフトの下での一般化を一貫して改善することを示す。
論文 参考訳（メタデータ） (2026-06-23T09:51:03Z) - From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation [54.68405211129937]
Exo-Seqto-Egoビデオ生成は、同期された3人称と対応するカメラポーズから1人称ビューを合成することを目的としている。
同期されたExo-egoデータは本質的に時間的不連続を導入し、標準ビデオ生成ベンチマークのスムーズな動作仮定に違反する。
我々は、ソースとターゲットビデオの間に補間して単一の連続信号を形成するシーケンシャルシーケンスモデルであるSyn2Ex-Forcingを提案する。
論文 参考訳（メタデータ） (2026-04-15T12:32:25Z) - SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing [76.349958946335]
本稿では,映像編集をセマンティックアンカーとモーションモデリングに分解するフレームワークであるSAMA(factorized Semantic Anchoring and Motion Alignment)を提案する。
まずセマンティックアンカリング(Semantic Anchoring)を導入し、スパースアンカフレームでのセマンティックトークンとビデオ潜在者を共同で予測することで、信頼性の高い視覚アンカを確立する。
第2に、モーションアライメントは同じバックボーンをモーション中心のビデオ復元のプリテキストタスクで事前トレーニングする。
論文 参考訳（メタデータ） (2026-03-19T17:59:51Z) - IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。
本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。
本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
論文 参考訳（メタデータ） (2026-02-07T11:17:20Z) - Motion is the Choreographer: Learning Latent Pose Dynamics for Seamless Sign Language Generation [24.324964949728045]
我々は手話ビデオ生成のための新しいパラダイムを提案し、手話のセマンティクスを手話のアイデンティティから切り離す。
まず,シグナ非依存のマルチモーダルモーションレキシコンを構築し,各光沢を同一性に依存しないポーズ,ジェスチャー,および3Dメッシュシーケンスとして格納する。
このコンパクトな表現は、検索した光沢配列を時間的に一貫性のある運動軌跡に変換する離散から連続的な運動合成段階という、2つ目の重要なイノベーションを可能にします。
論文 参考訳（メタデータ） (2025-08-06T03:23:10Z) - Beyond Gloss: A Hand-Centric Framework for Gloss-Free Sign Language Translation [18.544615425772903]
手話翻訳(SLT)は、視覚情報と言語情報の間のモダリティギャップを埋めることを必要とする課題である。
我々は,ビデオLLMの時間認識推論機能を活用する新しいGloss-free SLTフレームワークであるtextbfBeyondGlossを紹介する。
BeyondtextはPhoenixT14とCSL-Dailyベンチマークで最先端のパフォーマンスを実現し、提案したフレームワークの有効性を実証している。
論文 参考訳（メタデータ） (2025-07-31T14:06:07Z) - Advanced Sign Language Video Generation with Compressed and Quantized Multi-Condition Tokenization [20.063863466319326]
SignViPは、複数のきめ細かい条件を組み込んだ新しいフレームワークである。
SignViPは、ビデオ品質の時間的コヒーレンスやセマンティクスの忠実さなど、メトリクス間の最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-06-19T02:56:06Z) - Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。
生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。
我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
論文 参考訳（メタデータ） (2025-06-01T13:28:04Z) - Pose-Guided Fine-Grained Sign Language Video Generation [18.167413937989867]
本稿では,細粒度かつ動きに一貫性のある手話ビデオを生成するための新しい Pose-Guided Motion Model (PGMM) を提案する。
まず,光学式フローワープによる特徴量の変形を解消する新しい粗い運動モジュール(CMM)を提案する。
第2に、RGBのモーダル融合とポーズ特徴を導く新しいPose Fusion Module (PFM)を提案する。
論文 参考訳（メタデータ） (2024-09-25T07:54:53Z) - Enhancing Video-Language Representations with Structural Spatio-Temporal Alignment [130.15775113897553]
フィンスタは微細な構造的時間的アライメント学習法である。
既存の13の強化されたビデオ言語モデルも一貫して改善されている。
論文 参考訳（メタデータ） (2024-06-27T15:23:36Z) - LEO: Generative Latent Image Animator for Human Video Synthesis [38.99490968487773]
本稿では,人間の映像合成のための新しい枠組みを提案し,合成時間的コヒーレンシーを重視した。
私たちのキーとなるアイデアは、動きを外見から本質的に分離する生成過程におけるフローマップのシーケンスとして表現することです。
フローベース画像アニメーターとラテントモーション拡散モデル(LMDM)を用いてこれを実装した。
論文 参考訳（メタデータ） (2023-05-06T09:29:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。