論文の概要: Context-Aware Autoregressive Diffusion for Gloss-Wise Sign Language Production
- arxiv url: http://arxiv.org/abs/2606.21234v1
- Date: Fri, 19 Jun 2026 08:57:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 07:16:05.630091
- Title: Context-Aware Autoregressive Diffusion for Gloss-Wise Sign Language Production
- Title（参考訳）: 言語生成のための文脈認識型自己回帰拡散
- Authors: JungHoon Sung, Boeun Kim, Chu Xin, Hyung Jin Chang, ChangHo Kim, Sang-Il Choi, Younggeun Choi,
- Abstract要約: 文脈対応グロスワイド自己回帰拡散モデル(GARD)
GARDは、意味(言語)と運動(運動)の両方の文脈で条件付けすることで、協調をモデル化する光沢のある拡散フレームワークである。
Phoenix-T と CSL-Daily のデータセットを用いた実験により、GARD は既存の SLP 法よりも言語的精度と運動類似性の両方において優れた性能を発揮することが示された。
- 参考スコア（独自算出の注目度）: 19.908237295817177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To generate natural and accurate sentence-level sign language, synthesizing the "gloss", the fundamental semantic unit, is essential. However, most current sign-language production (SLP) methods generate entire sequences at once. While this end-to-end approach is often efficient, it is prone to temporal drift and hand motion blur as sentences get longer, and fails to accurately control individual glosses. In this paper, we propose the Context-aware Gloss-wise AutoRegressive Diffusion model (GARD), a gloss-wise diffusion framework that models coarticulation by conditioning on both semantic (linguistic) and kinematic (motion) contexts. To ensure natural continuity between gloss motions, GARD introduces two additional strategies: i) Inter-Gloss Transition Guidance, which applies gradient-based guidance to kinematically align inter-gloss boundaries and ensure seamless pose consistency. ii) Global Motion Harmonizer, refining the entire gloss motion sequence based on the boundary poses adjusted by Inter-Gloss Transition Guidance. Extensive experiments on Phoenix-T and CSL-Daily datasets demonstrate that GARD achieves superior performance over existing SLP methods in terms of both linguistic accuracy and motion similarity.
- Abstract（参考訳）: 自然で正確な文レベルの手話を生成するためには、基本的な意味単位である「グロス」を合成することが不可欠である。
しかし、現在の手話生成法(SLP)のほとんどは、一度に全シーケンスを生成する。
このエンドツーエンドアプローチは、しばしば効率的であるが、文が長くなると、時間的ドリフトや手の動きがぼやけてしまう傾向があり、個々のグルースを正確に制御できない。
本稿では,意味的(言語的)な文脈と運動的(運動的)な文脈の両方を条件づけることで,協調をモデル化する光沢度拡散フレームワークである,文脈対応のGloss-wise AutoRegressive Diffusion Model (GARD)を提案する。
光沢運動間の自然な連続性を確保するため、GARDは次の2つの戦略を導入した。
一 グロス間遷移誘導(Inter-Gloss transition Guidance)は、グラウス間の境界を運動的に整合させ、シームレスなポーズ整合性を確保するために勾配に基づくガイダンスを適用する。
二 グローバルモーションハーモナイザ、光沢遷移誘導により調整された境界ポーズに基づいて光沢運動列全体を精製する。
Phoenix-T と CSL-Daily のデータセットに対する大規模な実験により、GARD は言語的精度と運動類似性の両方の観点から既存の SLP 法よりも優れた性能を示した。
関連論文リスト
- SiGnature: Explicit Motion Diffusion for Stylized Semantic Gesture [31.872713283587604]
SiGnatureは、スティル化およびセマンティックゲスチャ生成のためのフレームワークである。
高精度なセマンティックコントロールを高忠実度スタイルの保存と整合させる。
滑らかで自然な音声ジェスチャー生成を維持しながら、より優れたセマンティックな動作制御を提供する。
論文 参考訳（メタデータ） (2026-06-14T16:18:26Z) - SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation [52.752934028506274]
我々は,新しい多レベル直接参照最適化フレームワークSignDPOを提案する。
SignDPOは、最先端のGloss-freeメソッドよりも一貫して優れていることを示す。
以上の結果から,多レベル選好アライメントは,高エントロピーな骨格軌道と個別言語意味論のギャップを埋める強力なパラダイムであることが示唆された。
論文 参考訳（メタデータ） (2026-04-20T09:59:18Z) - MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - Semantic Routing: Exploring Multi-Layer LLM Feature Weighting for Diffusion Transformers [31.67315012315044]
我々は,多層LLM隠蔽状態を体系的に整理する軽量ゲートを備えた統一正規化凸核融合フレームワークを提案する。
実験は、より優れた条件付け戦略としてDepth-wise Semantic Routingを確立する。
純粋に時間的な融合は、視覚発生の忠実度をパラドックス的に低下させる可能性がある。
論文 参考訳（メタデータ） (2026-02-03T13:30:13Z) - AutoSign: Direct Pose-to-Text Translation for Continuous Sign Language Recognition [0.0]
聴覚障害者コミュニティと聴覚障害者コミュニティのギャップを埋める上で,サインジェスチャを連続的に認識し,それらをグロースに変換することが重要な役割を担っている。
ポーズ列を直接自然言語テキストに変換する自動回帰デコーダのみの変換器であるAutoSignを提案する。
マルチステージパイプラインを削除することで、AutoSignはIsharah-1000データセットを大幅に改善した。
論文 参考訳（メタデータ） (2025-07-26T07:28:33Z) - GLOS: Sign Language Generation with Temporally Aligned Gloss-Level Conditioning [60.86278956347739]
GLOSは手話生成フレームワークであり、時間的に並んだ光沢レベル条件付けを備えている。
本手法は,CSL-Daily と Phoenix-2014T の先行手法よりも高い精度で,正しい語彙順と高い意味精度の符号を生成する。
論文 参考訳（メタデータ） (2025-06-09T06:09:03Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳（メタデータ） (2025-05-26T14:42:35Z) - Bridging Sign and Spoken Languages: Pseudo Gloss Generation for Sign Language Translation [48.20483623444857]
手話翻訳は、手話動画を音声テキストにマッピングすることを目的としている。
一般的なアプローチは、中間表現としてのグロスアノテーションに依存している。
そこで我々は,人間に注釈付けされたグルースを不要とした光沢のない擬似グルース生成フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-21T12:19:55Z) - Collaborative Temporal Consistency Learning for Point-supervised Natural Language Video Localization [129.43937834515688]
我々は,ビデオ言語アライメントを強化するために,新しいコラボラティブ・テンポラル・コンポジション・ラーニング(COTEL)フレームワークを提案する。
具体的には、まずフレームとセグメントレベルの時間一貫性学習(TCL)モジュールを設計し、フレームサリエンシと文-モーメントペア間のセマンティックアライメントをモデル化する。
論文 参考訳（メタデータ） (2025-03-22T05:04:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。