論文の概要: Toward Phonology-Guided Sign Language Motion Generation: A Diffusion Baseline and Conditioning Analysis
- arxiv url: http://arxiv.org/abs/2603.17388v1
- Date: Wed, 18 Mar 2026 06:10:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.536257
- Title: Toward Phonology-Guided Sign Language Motion Generation: A Diffusion Baseline and Conditioning Analysis
- Title（参考訳）: 音韻誘導手話運動生成に向けて:拡散ベースラインと条件解析
- Authors: Rui Hong, Jana Kosecka,
- Abstract要約: 我々は3次元身体運動の生成モデルを訓練し,手話動作生成における音韻的属性条件付けの役割を探る。
我々はまず,SMPL-X表現を持つHuman Motion MDMスタイルの拡散モデルを用いて,強い拡散ベースラインを確立する。
次に,異なるテキストエンコーダ(CLIP vs. T5),コンディショニングモード(gloss-only vs. gloss+phonological attribute),属性表記形式を用いて,テキストコンディショニングの役割を体系的に研究する。
- 参考スコア（独自算出の注目度）: 3.0979829079231447
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating natural, correct, and visually smooth 3D avatar sign language motion conditioned on the text inputs continues to be very challenging. In this work, we train a generative model of 3D body motion and explore the role of phonological attribute conditioning for sign language motion generation, using ASL-LEX 2.0 annotations such as hand shape, hand location and movement. We first establish a strong diffusion baseline using an Human Motion MDM-style diffusion model with SMPL-X representation, which outperforms SignAvatar, a state-of-the-art CVAE method, on gloss discriminability metrics. We then systematically study the role of text conditioning using different text encoders (CLIP vs. T5), conditioning modes (gloss-only vs. gloss+phonological attributes), and attribute notation format (symbolic vs. natural language). Our analysis reveals that translating symbolic ASL-LEX notations to natural language is a necessary condition for effective CLIP-based attribute conditioning, while T5 is largely unaffected by this translation. Furthermore, our best-performing variant (CLIP with mapped attributes) outperforms SignAvatar across all metrics. These findings highlight input representation as a critical factor for text-encoder-based attribute conditioning, and motivate structured conditioning approaches where gloss and phonological attributes are encoded through independent pathways.
- Abstract（参考訳）: テキスト入力に条件付き3Dアバター手話の動きを自然に、正しく、視覚的にスムーズに生成することは、依然として非常に困難である。
本研究では,手形・手の位置・動きなどのASL-LEX 2.0アノテーションを用いて,手話動作生成における音韻的属性条件付けの役割を学習する。
我々はまず,SMPL-X表現を用いたHuman Motion MDMスタイルの拡散モデルを用いた強力な拡散ベースラインを確立する。
次に,異なるテキストエンコーダ (CLIP vs. T5) ,条件付モード (gloss-only vs. gloss+phonological attribute) ,属性表記形式 (symbolic vs. 自然言語) を用いて,テキストコンコーダの役割を体系的に研究する。
解析の結果,ASL-LEX表記を自然言語に翻訳することはCLIPに基づく属性条件付けに必要条件であることがわかった。
さらに、私たちの最高のパフォーマンスの亜種(CLIPとマップされた属性)は、すべてのメトリクスでSignAvatarよりも優れています。
これらの知見は,テキストエンコーダに基づく属性条件付けにおいて,入力表現が重要な要因であることを示す。
関連論文リスト
- SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning [54.232148007248874]
現在の手話生産(SLP)フレームワークは、まさにトレードオフに直面している。
本研究では,スペースを利用した新たなトレーニングパラダイムを提案し,人間の署名の真の基盤となる分布を捉える。
これらの離散的なアンカーから高密度な動きを予測することにより、流体の調音を確実にしながら、回帰から平均への移動を緩和する。
論文 参考訳（メタデータ） (2026-03-11T06:02:36Z) - AutoSign: Direct Pose-to-Text Translation for Continuous Sign Language Recognition [0.0]
聴覚障害者コミュニティと聴覚障害者コミュニティのギャップを埋める上で,サインジェスチャを連続的に認識し,それらをグロースに変換することが重要な役割を担っている。
ポーズ列を直接自然言語テキストに変換する自動回帰デコーダのみの変換器であるAutoSignを提案する。
マルチステージパイプラインを削除することで、AutoSignはIsharah-1000データセットを大幅に改善した。
論文 参考訳（メタデータ） (2025-07-26T07:28:33Z) - Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。
単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
論文 参考訳（メタデータ） (2024-11-26T18:28:09Z) - An Efficient Sign Language Translation Using Spatial Configuration and Motion Dynamics with LLMs [7.630967411418269]
グロスフリー手話翻訳(英: Gloss-free Sign Language Translation, SLT)は、手話の動画を直接言語文に変換する言語である。
本稿では手話に固有の空間的構成や動きのダイナミクスを捉えることの重要性を強調する。
本稿では,空間と運動に基づく手話翻訳(SpaMo)について紹介する。
論文 参考訳（メタデータ） (2024-08-20T07:10:40Z) - Neural Sign Actors: A diffusion model for 3D sign language production from text [51.81647203840081]
手話 (SL) は難聴者および難聴者コミュニティの主要なコミュニケーション手段である。
この研究は、現実的なニューラルサインアバターに向けて重要な一歩を踏み出し、聴覚と聴覚のコミュニティ間のコミュニケーションギャップを埋める。
論文 参考訳（メタデータ） (2023-12-05T12:04:34Z) - Linguistically Motivated Sign Language Segmentation [51.06873383204105]
個々の記号へのセグメンテーションとフレーズへのセグメンテーションという2種類のセグメンテーションを考える。
本手法は手話コーパスで観察される言語的手がかりによって動機付けられている。
私たちは、主要なIOタグ付けスキームをBIOタグに置き換えて、継続的な署名を可能にします。
論文 参考訳（メタデータ） (2023-10-21T10:09:34Z) - Gloss-free Sign Language Translation: Improving from Visual-Language
Pretraining [56.26550923909137]
Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。
視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。
i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
論文 参考訳（メタデータ） (2023-07-27T10:59:18Z) - Modeling Intensification for Sign Language Generation: A Computational
Approach [13.57903290481737]
エンドツーエンドの手話生成モデルは手話の韻律を正確に表現していない。
我々は、データ駆動方式で強化をモデル化することで、生成した手話における韻律を改善することを目指している。
自動メトリクスで評価すると、強化モデリングにおける我々の取り組みがより良い結果をもたらすことが分かりました。
論文 参考訳（メタデータ） (2022-03-18T01:13:21Z) - Temporal Accumulative Features for Sign Language Recognition [2.3204178451683264]
我々は,孤立した手話のジェスチャーを認識するための,効率的かつ高速なSLR手法を考案した。
また,手形情報や小規模な逐次ニューラルネットワークを用いて,言語サブユニットの累積特徴のモデリングがベースライン分類結果に基づいて改善されることを実証した。
論文 参考訳（メタデータ） (2020-04-02T19:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。