論文の概要: SignGPT: Toward LLM-Mediated Sign Language Interaction through Gloss-Free Translation and Generation
- arxiv url: http://arxiv.org/abs/2609.21709v1
- Date: Fri, 18 Sep 2026 12:46:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.086306
- Title: SignGPT: Toward LLM-Mediated Sign Language Interaction through Gloss-Free Translation and Generation
- Title（参考訳）: SignGPT:グロースフリー翻訳と生成によるLLM媒介手話相互作用を目指して
- Abstract要約: 我々は、Gloss-free SLTとSLGのための統合されたポーズベースのフレームワークSignGPTを提案する。
ベンチマーク比較により,How2Sign(ASL)とPhoenix-2014T(DGS)のSignGPTを評価する。
12個のDeaf ASLシグナーによる探索的研究は、LSMを介するサイン・ツー・サイン応答パイプラインを評価する。
- 参考スコア（独自算出の注目度）: 30.411039363932407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) provide limited support for sign language interaction. Unifying sign language translation (SLT) and generation (SLG) to enable sign language as both input and output can reduce switching between separate models during sign-text interaction. We present SignGPT, a unified, pose-based framework for gloss-free SLT and SLG. SignGPT integrates part-aware hierarchical representations of body, hand, and facial motion into a shared language model and employs asymmetric multi-token prediction and progressive training for bidirectional modeling. We evaluate SignGPT on How2Sign (ASL) and Phoenix-2014T (DGS) through benchmark comparisons, qualitative analyses, and component ablations. An exploratory study with 12 Deaf ASL signers assesses an LLM-mediated sign-to-sign response pipeline, highlighting the potential of unified modeling to support sign language conversation (SLC).
- Abstract（参考訳）: 大型言語モデル(LLM)は手話の相互作用を限定的にサポートする。
符号言語変換(SLT)と生成(SLG)を統合して、入力と出力の両方で手話を可能にすることで、手話の相互作用中に別のモデルの切り替えを減らすことができる。
我々は、Gloss-free SLTとSLGのための統合されたポーズベースのフレームワークSignGPTを提案する。
SignGPTは、身体、手、顔の動きを部分的に認識した階層表現を共通言語モデルに統合し、非対称なマルチトークン予測とプログレッシブトレーニングを用いて双方向モデリングを行う。
ベンチマーク比較,定性解析,コンポーネントの短縮により,How2Sign(ASL)とPhoenix-2014T(DGS)のSignGPTを評価した。
12のDeaf ASLシグナーによる探索的研究は、LLMを介するサイン・ツー・サイン応答パイプラインを評価し、手話会話(SLC)をサポートする統一モデリングの可能性を強調している。
関連論文リスト
- Bridging the Gap Between Semantics and Reconstruction:Unifying Sign Language Translation and Production [16.56134410439223]
手話研究の最近の進歩は、複数の手話理解サブタスクを統合する傾向を示している。
言語理解と生産をひとつのフレームワークに統合することは可能か?
統合されたフレームワークは、2つの重要な課題に対処しなければならない。
論文 参考訳（メタデータ） (2026-08-10T02:50:07Z) - SIGNET: Motion-Level Knowledge Transfer for Cross-Language Sign Language Translation [20.105725837533722]
textbf SIGNETは,言語間手話翻訳のための動作レベル知識を実現するフレームワークである。
私たちのキーは、手話言語は文法と語彙が異なるが、事前訓練されたモデルは、データセットや言語間で再利用可能な動きレベルの視覚パターンをキャプチャする。
論文 参考訳（メタデータ） (2026-06-26T21:58:16Z) - Targeted Linguistic Analysis of Sign Language Models with Minimal Translation Pairs [28.82739011775961]
ASL Sign Language, ASL Minimal Translation Pairs (ASL-MTP) のための新しいベンチマークデータセットを導入する。
我々は ASL-MTP を用いて、最先端の ASL-to- English 翻訳モデルを分析する。
我々は,ASL-MTPの学習と推論において,様々な入力キューを非難し,ASL-MTPの現象を評価することによって,モデルのターゲット分析を行う。
論文 参考訳（メタデータ） (2026-04-29T22:08:45Z) - Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment [84.39962912136525]
我々は手話翻訳(SLT)と手話字幕アライメント(SSA)を実行する手話理解モデルを開発する。
i)人間のキーポイントと唇領域の画像から手動と非手動のキューをキャプチャする軽量な視覚バックボーン,(ii)連続的な視覚特徴を単語レベルの埋め込みに集約するスライディングパーシーバーマッピングネットワーク,(iii)SLTとSSAを協調的に最適化するマルチタスクスケーラブルなトレーニング戦略である。
論文 参考訳（メタデータ） (2025-12-08T21:05:46Z) - Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。
単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
論文 参考訳（メタデータ） (2024-11-26T18:28:09Z) - Scaling up Multimodal Pre-training for Sign Language Understanding [96.17753464544604]
手話は、難聴者コミュニティにとってコミュニケーションの主要な意味である。
難聴者と聴覚者のコミュニケーションを容易にするために,手話理解(SLU)タスクのシリーズが研究されている。
これらの課題は、多様な視点から手話のトピックを調査し、手話ビデオの効果的な表現を学ぶ上での課題を提起する。
論文 参考訳（メタデータ） (2024-08-16T06:04:25Z) - MS2SL: Multimodal Spoken Data-Driven Continuous Sign Language Production [93.32354378820648]
我々は,手話と非手話のユーザ間のコミュニケーションを緩和する,連続手話生成のための統一フレームワークを提案する。
テキストや音声から抽出した埋め込みを利用したシーケンス拡散モデルを作成し、段階的にサイン予測を生成する。
How2SignとPHOENIX14Tデータセットの実験により、手話生成において、我々のモデルが競合性能を達成することを示す。
論文 参考訳（メタデータ） (2024-07-04T13:53:50Z) - Improving Continuous Sign Language Recognition with Cross-Lingual Signs [29.077175863743484]
本稿では,多言語手話コーパスを用いた連続手話認識の実現可能性について検討する。
まず、2つのデータセットに現れる独立した記号を含む2つの手話辞書を構築します。
次に、適切に最適化された手話認識モデルを用いて、2つの手話間の手話間の手話マッピングを同定する。
論文 参考訳（メタデータ） (2023-08-21T15:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。