論文の概要: DiscoSign: Discourse-Aware Text to Sign Language Gloss Translation
- arxiv url: http://arxiv.org/abs/2609.02796v1
- Date: Wed, 02 Sep 2026 16:31:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.471219
- Title: DiscoSign: Discourse-Aware Text to Sign Language Gloss Translation
- Title（参考訳）: DiscoSign: 対話対応のテキストから手話のグロス翻訳
- Abstract要約: 本稿では,言語用語のグロス翻訳に対処する対話対応テキストの計算手法であるDiscoSignを紹介する。
モジュール型大言語モデル(LLM)ベースの翻訳フレームワークにおける3つの重要な現象に対処する。
本研究は,言語用語のグロス翻訳に対応する評価手法で署名するための,談話レベルのテキストのための最初の体系的枠組みを確立する。
- 参考スコア（独自算出の注目度）: 12.332925296781758
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sign language processing systems have traditionally operated at the sentence level, ignoring critical discourse phenomena fundamental to sign language comprehension. We introduce DiscoSign, a computational approach for discourse-aware text to sign language gloss translation grounded in linguistic research. We address three key phenomena within our modular Large Language Model (LLM)-based translation framework: (i) spatial coreference resolution, where entities maintain consistent spatial locations throughout discourse; (ii) Question-Answer Clauses (QACs), pseudocleft structures serving specific discourse functions; and (iii) concept-gloss consistency, ensuring stable mappings between English concepts and American Sign Language (ASL) signs. Traditional translation metrics fail to capture discourse-level quality, so we introduce a suite of novel evaluation metrics designed to assess each dimension of discourse coherence addressed by our framework. Experiments on sentence-level and discourse-level datasets show that our approach for discourse-aware processing significantly improves spatial consistency and entity tracking relative to sentence-only translation, while maintaining competitive single-sentence gloss translation quality. Our work establishes the first systematic framework for discourse-level text to sign language gloss translation with corresponding evaluation methodology.
- Abstract（参考訳）: 手話処理システムは伝統的に文レベルで動作しており、手話理解の基本となる重要な談話現象を無視している。
本稿では,言語研究に基礎をおく言語用語のグロス翻訳に,ディスコサインを導入する。
モジュール型大言語モデル(LLM)ベースの翻訳フレームワークにおける3つの重要な現象に対処する。
一 談話中一貫した空間的位置を維持する空間的基準解決
(二 質問応答クローズ(QAC)、特定談話機能を有する疑似口蓋構造、及び
(iii)概念グロス一貫性、英語概念とアメリカ手話(ASL)記号の安定なマッピングを保証する。
従来の翻訳指標では談話レベルの品質を把握できないため,フレームワークによって対処される談話コヒーレンスの各次元を評価するために設計された,一連の新しい評価指標を導入する。
文レベルのデータセットと談話レベルのデータセットを用いた実験により、談話認識処理のアプローチは、文のみの翻訳に対して空間的一貫性と実体追跡を著しく改善し、競争力のある単一文のグロス翻訳品質を維持していることが示された。
本研究は,言語用語のグロス翻訳に対応する評価手法で署名するための,談話レベルのテキストのための最初の体系的枠組みを確立する。
関連論文リスト
- Understanding the Modality Gap: An Empirical Study on the Speech-Text Alignment Mechanism of Large Speech Language Models [12.263637152835713]
LSLM(End-to-end Large Speech Language Models)では,会話生成能力が顕著に向上している。
粗くきめ細かなテキストと音声表現の両方を解析する。
表現類似性はモダリティギャップと強く相関していることがわかった。
論文 参考訳（メタデータ） (2025-10-14T03:34:38Z) - PART: Progressive Alignment Representation Training for Multilingual Speech-To-Text with LLMs [58.2469845374385]
進歩的アライメント表現訓練(PART)について紹介する。
Partは多段階およびマルチタスクのフレームワークで、言語内のアライメントと言語間のアライメントを分離する。
CommonVoice 15の実験では、Fleurs、Wenetspeech、CoVoST2が、Particleが従来のアプローチを上回ることを示している。
論文 参考訳（メタデータ） (2025-09-24T03:54:14Z) - Languages in Multilingual Speech Foundation Models Align Both Phonetically and Semantically [58.019484208091534]
事前訓練された言語モデル(LM)における言語間アライメントは、テキストベースのLMの効率的な転送を可能にしている。
テキストに基づく言語間アライメントの発見と手法が音声に適用されるかどうかについては、未解決のままである。
論文 参考訳（メタデータ） (2025-05-26T07:21:20Z) - Deep Understanding of Sign Language for Sign to Subtitle Alignment [13.96216152723074]
入力字幕を前処理するために、英国手話の文法規則を利用する。
信号の時間的位置を予測するためのモデルを最適化するために、選択的アライメント損失を設計する。
音声対応ラベルよりも高精度な、洗練された擬似ラベルによる自己学習を行う。
論文 参考訳（メタデータ） (2025-03-05T09:13:40Z) - Lost in Translation, Found in Context: Sign Language Translation with Contextual Cues [56.038123093599815]
我々の目的は、連続手話から音声言語テキストへの翻訳である。
署名ビデオと追加のコンテキストキューを組み込む。
文脈的アプローチが翻訳の質を著しく向上させることを示す。
論文 参考訳（メタデータ） (2025-01-16T18:59:03Z) - Assessing the Role of Lexical Semantics in Cross-lingual Transfer through Controlled Manipulations [15.194196775504613]
我々は、英語と対象言語の違いが、英語の事前訓練された表現空間と言語を整合させる能力にどのように影響するかを分析する。
文字や単語の順序などの特性はアライメント品質に限られた影響しか与えないが、翻訳エントロピーの尺度を用いて定義する2言語間の語彙マッチングの程度は、それに大きな影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2024-08-14T14:59:20Z) - Learning Language Structures through Grounding [8.437466837766895]
言語構造を基礎として学習することを目的とした機械学習タスクのファミリーを考察する。
パートIでは,視覚的接地を通して構文解析を学習することを検討する。
第2部では文を対応する意味構造にマッピングする2つの実行対応手法を提案する。
パートIIIでは、他の言語のアノテーションから言語構造を学習する手法を提案する。
論文 参考訳（メタデータ） (2024-06-14T02:21:53Z) - Improving Mandarin Prosodic Structure Prediction with Multi-level
Contextual Information [68.89000132126536]
本研究は,音声間言語情報を用いて韻律構造予測(PSP)の性能を向上させることを提案する。
提案手法は,韻律語(PW),韻律語(PPH),国際語句(IPH)の予測におけるF1スコアの向上を実現する。
論文 参考訳（メタデータ） (2023-08-31T09:19:15Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳（メタデータ） (2023-07-16T15:18:25Z) - Keypoint based Sign Language Translation without Glosses [7.240731862549344]
署名者の骨格点に基づく翻訳を行うための新しいキーポイント正規化法を提案する。
身体部分に応じてカスタマイズされた正規化法により性能改善に寄与した。
本手法は,グルースを使わずにデータセットに適用可能な方法で,様々なデータセットに適用することができる。
論文 参考訳（メタデータ） (2022-04-22T05:37:56Z) - Sign Language Transformers: Joint End-to-end Sign Language Recognition
and Translation [59.38247587308604]
本稿では,連続手話認識と翻訳を共同で学習するトランスフォーマーアーキテクチャを提案する。
RWTH-PHOENIX-Weather-2014Tデータセットの認識と翻訳性能の評価を行った。
我々の翻訳ネットワークは、動画を音声言語に、光沢を音声言語翻訳モデルに、どちらよりも優れています。
論文 参考訳（メタデータ） (2020-03-30T21:35:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。