論文の概要: Semantic Residual Vector Quantization for Sign Language Generation
- arxiv url: http://arxiv.org/abs/2611.06781v2
- Date: Sun, 08 Nov 2026 17:39:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 00:17:47.245943
- Title: Semantic Residual Vector Quantization for Sign Language Generation
- Title(参考訳): 手話生成のための意味的残留ベクトル量子化
- Abstract要約: 手話生成文は、語彙内容ときめ細かい明瞭さを維持しながら、手話文を手話運動にマッピングする。
既存のポーズベースのシステムと再構成専用モーショントークンーザは、しばしばこの2つの決定を絡み合わせる。
セマンティック残留ベクトル量子化(Semantic Residual Vector Quantization, SRVQ)は、セマンティックからキネマティックへ移行する2段階のプロセスとして生成をフレーム化するSLGのフレームワークである。
- 参考スコア(独自算出の注目度): 55.11394301826692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sign language generation (SLG) maps written sentences into signing motion while preserving both lexical content and fine-grained articulation. This requires a model to decide what signs should be expressed and to realize them through precise handshape, trajectory, facial expression and body coordination. Existing pose-based systems and reconstruction-only motion tokenizers often entangle these two decisions, leaving the generator without an explicit text-aligned intermediate target for what to sign before refining how to sign it. To address this issue, we introduce Semantic Residual Vector Quantization (SRVQ), a framework for SLG that frames generation as a two-level process moving from semantics to kinematics. The newly introduced SRV Quantizer learns a hierarchy in which the first residual level encodes sign content and subsequent levels refine pose, handshape, trajectory, and body coordination, all within a single quantizer and without separate semantic representations or external planning stages. Through word-aware conditioning for hierarchical code generation, a masked semantic generator predicts semantic codes and a kinematic generator completes the residual codes for full SMPL-X motion synthesis. We evaluate using retrieval and FID in a shared text-motion embedding space, alongside standard geometric metrics. On CSL-Daily and Phoenix-2014T, SRVQ achieves R@1 of 82.3 and 70.3, outperforming the previous SOTA by 30 and 46 points, respectively.
- Abstract(参考訳): 署名言語生成(SLG)は、文章を語彙内容と細粒度を保存しながら署名動作にマッピングする。
これは、どの記号を表現すべきかを決定し、それらを正確な手形、軌跡、表情、身体の調整を通じて実現するためのモデルを必要とする。
既存のポーズベースのシステムと再構成専用モーショントークンーザは、しばしばこの2つの決定を絡み合わせる。
この問題に対処するために、セマンティック残留ベクトル量子化(SRVQ)を導入し、セマンティックからキネマティックへ移行した2段階のプロセスとして生成をフレーム化する。
新しく導入されたSRV量子化器は、第1残差レベルが手話内容、手話、軌跡、体調を符号化する階層を学習し、これらは全て単一の量化器内にあり、別個の意味表現や外部計画段階を持たない。
階層コード生成のための単語認識条件付けにより、マスク付きセマンティックジェネレータはセマンティックコードを予測するとともに、キネティックジェネレータは完全なSMPL-Xモーション合成のための残留コードを完成させる。
我々は,標準的な幾何学的指標とともに,共有テキストモーション埋め込み空間における検索とFIDの評価を行った。
CSL-Daily と Phoenix-2014T では、SRVQ は 82.3 と 70.3 の R@1 を達成する。
関連論文リスト
- SeRV: Semantic-Aligned Residual Vector Quantization for American Sign Language Generation [16.011600536846434]
SeRVは、アメリカ手話生成のためのセマンティック・アラインなRVQトークンである。
文レベルの動作テキストアライメントとトークンレベルのテキストコンディショニングを組み合わせることで,意味的に構造化された残トークン空間を学習する。
テキストから直接意味的に一貫した3D ASLモーションを生成する。
論文 参考訳(メタデータ) (2026-09-04T21:41:17Z) - SignRR: Retrieve and Refine Real Motion for Sign Language Production [1.0332950685403934]
本稿では,実際の検索動作から始まり,それをグローバルなコヒーレントな署名シーケンスへと洗練するパラダイムであるrequire-and-refineを提案する。
我々のフレームワークであるSignRRは、実符号セグメントの辞書からの動作を初期化し、部分認識された残差VQ-VAEで全シーケンスを洗練する。
論文 参考訳(メタデータ) (2026-08-28T17:45:14Z) - MUGEN: A Unified Framework for Efficient Motion Understanding and Generation [17.452895169020817]
コストがかからない一貫した動き言語フレームワークを提案する。
単一の適応長オートエンコーダは、任意の長さの運動をいくつかの連続した潜在スロットに圧縮する。
MUGENは、HumanML3D上のFIDに基づく言語モデルベースラインを導き、リアルモーション参照よりも精度の高い検索を行う。
論文 参考訳(メタデータ) (2026-07-30T01:55:51Z) - SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning [54.232148007248874]
現在の手話生産(SLP)フレームワークは、まさにトレードオフに直面している。
本研究では,スペースを利用した新たなトレーニングパラダイムを提案し,人間の署名の真の基盤となる分布を捉える。
これらの離散的なアンカーから高密度な動きを予測することにより、流体の調音を確実にしながら、回帰から平均への移動を緩和する。
論文 参考訳(メタデータ) (2026-03-11T06:02:36Z) - GLOS: Sign Language Generation with Temporally Aligned Gloss-Level Conditioning [60.86278956347739]
GLOSは手話生成フレームワークであり、時間的に並んだ光沢レベル条件付けを備えている。
本手法は,CSL-Daily と Phoenix-2014T の先行手法よりも高い精度で,正しい語彙順と高い意味精度の符号を生成する。
論文 参考訳(メタデータ) (2025-06-09T06:09:03Z) - MASA: Motion-aware Masked Autoencoder with Semantic Alignment for Sign Language Recognition [94.56755080185732]
本研究では,リッチモーションキューとグローバルセマンティック情報を統合したセマンティックアライメント(MASA)を用いたMotion-Awareマスク付きオートエンコーダを提案する。
我々のフレームワークは,包括的手話表現のための局所的な動きの手がかりとグローバルな意味的特徴を同時に学習することができる。
論文 参考訳(メタデータ) (2024-05-31T08:06:05Z) - Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。
対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。
我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
論文 参考訳(メタデータ) (2022-03-27T21:16:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。