論文の概要: SemRAG: Semantic-Guided Sentence-Level Retrieval-Augmented Sign Language Production
- arxiv url: http://arxiv.org/abs/2611.18189v1
- Date: Fri, 13 Nov 2026 13:58:22 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:25:23.356578
- Title: SemRAG: Semantic-Guided Sentence-Level Retrieval-Augmented Sign Language Production
- Title(参考訳): SemRAG: Semantic-Guided Sentence-Level Retrieval-Augmented Sign Language Production
- Abstract要約: SemRAGは手話生成のための意味誘導文レベルの検索拡張フレームワークである。
グロス/ワードレベルの記号辞書を構築することなく、プリエントとしてフル文の署名テンプレートを検索する。
バックトランスレーションとモーション精度の両方のメトリクスの下で、ベースラインに対するセマンティック一貫性とモーション品質を改善する。
- 参考スコア(独自算出の注目度): 15.314103826207969
- License:
- Abstract: Sign language production (SLP) aims to generate sign pose sequences that faithfully express spoken-language text while preserving the rhythm and coordination patterns of signing. Common SLP methods learn text-to-pose mappings from training data but often suffer from semantic inaccuracies in long or complex sentences. Retrieval augmentation offers a way to introduce realistic signing priors to provide more explicit guidance for text-to-pose generation. However, existing retrieval-based SLP methods typically operate at the gloss or word level, relying on gloss-pose dictionaries or isolated sign segments that require costly annotations and fail to preserve continuous sentence-level dynamics. To bridge this gap, we propose SemRAG, a semantic-guided sentence-level retrieval-augmented framework that retrieves full-sentence signing templates as priors without constructing gloss/word-level sign dictionaries. While such templates preserve local motion patterns and global rhythm, they also introduce a semantic mismatch problem: irrelevant motions in the retrieved sentence may interfere with the target semantics. To address this issue, we introduce an SLT-guided template semantic localization module that identifies target-relevant temporal regions within the retrieved template while suppressing irrelevant signing content. To adaptively incorporate the template features into the generator, we further introduce layer-specific learnable gates that regulate their contribution across generator layers. Extensive experiments show that SemRAG improves semantic consistency and motion quality over baselines under both back-translation and motion accuracy metrics.
- Abstract(参考訳): 署名言語生成(SLP)は、署名のリズムと調整パターンを保ちながら、話し言葉のテキストを忠実に表現する手話列を生成することを目的としている。
一般的なSLP手法は、トレーニングデータからテキスト間マッピングを学習するが、長い文や複雑な文の意味的不正確さに悩まされることが多い。
Retrieval Augmentationは、テキスト・ツー・プレイス生成のためのより明確なガイダンスを提供するために、リアルな署名先を導入する方法を提供する。
しかしながら、既存の検索ベースのSLPメソッドは通常、用語レベルや用語レベルで動作し、高コストのアノテーションを必要とし、連続的な文レベルのダイナミクスを保たないグロス目的の辞書や独立したサインセグメントに依存している。
このギャップを埋めるために,意味指導型文レベルの検索強化フレームワークSemRAGを提案する。
このようなテンプレートは局所的な動きパターンや大域的なリズムを保っているが、意味的ミスマッチの問題も導入している。
この問題に対処するため、検索したテンプレート内のターゲット関連時間領域を識別するSLT誘導型テンプレートセマンティックローカライゼーションモジュールを導入し、無関係な署名内容を抑える。
さらに,テンプレート機能をジェネレータに適応的に組み込むために,ジェネレータ層間のコントリビューションを制御するレイヤ固有の学習可能なゲートを導入する。
広範囲な実験により,SemRAGはバックトランスレーションとモーション精度の両方の指標の下で,ベースラインのセマンティック一貫性と動作品質を向上させることが示された。
関連論文リスト
- Semantic Residual Vector Quantization for Sign Language Generation [55.11394301826692]
手話生成文は、語彙内容ときめ細かい明瞭さを維持しながら、手話文を手話運動にマッピングする。
既存のポーズベースのシステムと再構成専用モーショントークンーザは、しばしばこの2つの決定を絡み合わせる。
セマンティック残留ベクトル量子化(Semantic Residual Vector Quantization, SRVQ)は、セマンティックからキネマティックへ移行する2段階のプロセスとして生成をフレーム化するSLGのフレームワークである。
論文 参考訳(メタデータ) (2026-11-04T16:55:08Z) - Kinematics-Centric Continuous Sign Language Retrieval with Gloss-Guided Boundary-Aware Alignment [57.69070973373309]
本稿では,3次元SMPL-X運動を主表現とするキネマティクス中心のフレームワークを提案する。
手話の構成特性を捉えるため,光沢誘導型局所アライメント機構を導入する。
標準ベンチマーク実験により,本手法が最先端の双方向検索性能を実現することを示す。
論文 参考訳(メタデータ) (2026-10-04T15:28:52Z) - Sign Spotting Disambiguation using Large Language Models [29.79050316749927]
本稿では,Large Language Models(LLMs)を統合して,符号スポッティング品質を大幅に向上させる,学習自由フレームワークを提案する。
提案手法は,グローバル・テンポラル・ハンド形状の特徴を抽出し,その特徴を大規模手話辞書と照合する。
この辞書ベースのマッチングは本質的に、モデルの再訓練を必要とせず、より優れた語彙の柔軟性を提供する。
論文 参考訳(メタデータ) (2025-07-04T16:38:09Z) - GLOS: Sign Language Generation with Temporally Aligned Gloss-Level Conditioning [60.86278956347739]
GLOSは手話生成フレームワークであり、時間的に並んだ光沢レベル条件付けを備えている。
本手法は,CSL-Daily と Phoenix-2014T の先行手法よりも高い精度で,正しい語彙順と高い意味精度の符号を生成する。
論文 参考訳(メタデータ) (2025-06-09T06:09:03Z) - Bridging Sign and Spoken Languages: Pseudo Gloss Generation for Sign Language Translation [48.20483623444857]
手話翻訳は、手話動画を音声テキストにマッピングすることを目的としている。
一般的なアプローチは、中間表現としてのグロスアノテーションに依存している。
そこで我々は,人間に注釈付けされたグルースを不要とした光沢のない擬似グルース生成フレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-21T12:19:55Z) - MS2SL: Multimodal Spoken Data-Driven Continuous Sign Language Production [93.32354378820648]
我々は,手話と非手話のユーザ間のコミュニケーションを緩和する,連続手話生成のための統一フレームワークを提案する。
テキストや音声から抽出した埋め込みを利用したシーケンス拡散モデルを作成し、段階的にサイン予測を生成する。
How2SignとPHOENIX14Tデータセットの実験により、手話生成において、我々のモデルが競合性能を達成することを示す。
論文 参考訳(メタデータ) (2024-07-04T13:53:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。