論文の概要: Beyond BLEU: A Case for Redefining Sign Language Translation Benchmarks

• arxiv url: http://arxiv.org/abs/2609.03734v1
• Date: Thu, 03 Sep 2026 12:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.051063
• Title: Beyond BLEU: A Case for Redefining Sign Language Translation Benchmarks
• Title（参考訳）: BLEUを超えた手話翻訳ベンチマークの再定義
• Abstract要約: 本稿では,オープンウェイトLLMQAプロトコルを用いて,言語学習の評価から着想を得た代替手法を提案する。 ヒトのランクとより密に一致し、BLEU-4の6倍から7倍のパラフレーズ不変量を持つ。
• 参考スコア（独自算出の注目度）: 25.06072679394636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: BLEU-4 is the standard metric for evaluating sign language translation (SLT), but spoken-language metrics may not adequately reflect sign language proficiency. The multimodal, low-resource context of SLT allows models to exploit spurious correlations and spoken-language priors, rather than learning stronger sign representations. In this paper, we evaluate the relationship between spatio-temporal understanding and BLEU-4 across six SLT models on Phoenix-2014T and CSL-Daily, showing that gains in BLEU-4 are not on their own evidence of better sign language understanding. This work introduces an alternative inspired by language-learning assessment, using an open-weight-LLM QA protocol that measures salient content preservation. It aligns more closely with human rankings and is six to seven times more paraphrase-invariant than BLEU-4. Applied to SLT, this protocol targets content transfer, is more robust to train-test overlap, and gives a different picture of the field: the five gloss-free systems are largely within noise of one another on Phoenix-2014T, while the gloss-supervised system stands 9.3 points higher, a gap invisible to BLEU-4.
• Abstract（参考訳）: BLEU-4は手話翻訳(SLT)の標準的な指標であるが、話し言葉のメトリクスは手話の習熟度を十分に反映していない。 SLTのマルチモーダルで低リソースのコンテキストは、より強力な手話表現を学習するのではなく、スプリケートな相関と話し言葉の先行を活用できる。 本稿では,Phoenix-2014T と CSL-Daily の6つのSLTモデル間の時空間的理解とBLEU-4 の関係を評価し,BLEU-4 の利得がより優れた手話理解の証拠であることを示す。 本研究は,有能なコンテンツ保存を測定するオープンウェイトLLMQAプロトコルを用いて,言語学習アセスメントに触発された代替手法を提案する。 ヒトのランクとより密に一致し、BLEU-4の6倍から7倍のパラフレーズ不変量を持つ。 SLTに適用されたこのプロトコルは、コンテンツ転送をターゲットとしており、列車とテストのオーバーラップに対してより堅牢であり、フィールドの異なる画像を与える: 5つの光沢のないシステムはフェニックス-2014Tで互いにノイズの内にあるが、光沢を監督するシステムは9.3ポイント高く、BLEU-4には見えないギャップがある。

関連論文リスト

• Gloss-Free Representation Learning for Cross-Dataset Sign Spotting [0.8590590965724384]
  本研究では,この環境下で再利用可能な符号エンコーダを事前訓練することができるかを検討した。 トルコの新しい放送コーパスであるTSL-Newsを、転写から派生した擬似グロスラベルを用いて事前訓練した。 我々は、新しいTSLスポッティングベンチマーク上で、クロスデータセットの符号スポッティングにより学習した表現を評価する。
  論文  参考訳（メタデータ） (2026-08-11T18:31:57Z)
• Target-Side Paraphrase Augmentation for Sign Language Translation with Large Language Models [0.0]
  我々は、GPT-4oが参照文の制御されたパラフレーズを生成できる目標側拡張について検討し、符号入力は変化しない。 PHOENIX14T, 適度な語彙の多様性を持つGSL, 高度に記録された反復的な記録を持つGSL, 重度の長尾間隔を有するLSA-Tの3つのデータセットについて検討した。
  論文  参考訳（メタデータ） (2026-05-29T14:58:21Z)
• Beyond a Single Reference: Training and Evaluation with Paraphrases in Sign Language Translation [1.9102169745315323]
  ほとんどの手話翻訳(SLT)コーパスペアは、それぞれ1つの書き言葉参照で署名された発話である。 この制限はモデルトレーニングと評価の両方を制約します。 BLEUparaは、複数のパラフレーズ参照に対する翻訳を評価するBLEUの拡張である。
  論文  参考訳（メタデータ） (2026-01-29T00:02:19Z)
• Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment [84.39962912136525]
  我々は手話翻訳(SLT)と手話字幕アライメント(SSA)を実行する手話理解モデルを開発する。 i)人間のキーポイントと唇領域の画像から手動と非手動のキューをキャプチャする軽量な視覚バックボーン,(ii)連続的な視覚特徴を単語レベルの埋め込みに集約するスライディングパーシーバーマッピングネットワーク,(iii)SLTとSSAを協調的に最適化するマルチタスクスケーラブルなトレーニング戦略である。
  論文  参考訳（メタデータ） (2025-12-08T21:05:46Z)
• RVLF: A Reinforcing Vision-Language Framework for Gloss-Free Sign Language Translation [44.39679803351263]
  我々は手話に特化して設計された大規模視覚言語モデル(LVLM)を構築した。 手話の十分な表現のために、RVLFは効果的な意味表現学習機構を導入する。 そして,文レベルの意味的ミスアライメントを改善するために,GRPOに基づく最適化戦略を導入する。
  論文  参考訳（メタデータ） (2025-12-08T08:11:53Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining [56.26550923909137]
  Gloss-Free Sign Language Translation (SLT) はドメイン横断性のために難しい課題である。 視覚言語事前学習(GFSLT-)に基づく新しいGross-free SLTを提案する。 i) コントラスト言語-画像事前学習とマスク付き自己教師付き学習を統合して,視覚的表現とテキスト的表現のセマンティックギャップをブリッジするプレタスクを作成し,マスク付き文を復元すること,(ii) 事前訓練されたビジュアルおよびテキストデコーダのパラメータを継承するエンコーダ-デコーダ-のような構造を持つエンドツーエンドアーキテクチャを構築すること,である。
  論文  参考訳（メタデータ） (2023-07-27T10:59:18Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Improving Bilingual Lexicon Induction with Cross-Encoder Reranking [31.142790337451366]
  BLICEr (BLI with Cross-Encoder Re rank) と呼ばれる新しい半教師付きポストホックリグレード法を提案する。 鍵となる考え方は、mPLMから言語間の語彙的知識を抽出し、元のCLWEと組み合わせることである。 BLICErは、多様な言語にまたがる2つの標準BLIベンチマークで、新しい結果を確立している。
  論文  参考訳（メタデータ） (2022-10-30T21:26:07Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Neural Sign Language Translation by Learning Tokenization [2.741266294612776]
  本稿では,Adversarial, Multitask, Transfer Learning を用いて,ラベル付けの負担を伴わずに半教師付きトークン化手法を探索する。 提案手法は13.25 BLUE-4と36.28 ROUGEのスコアを達成し、BLUE-4の4点とROUGEの5点に改善した。
  論文  参考訳（メタデータ） (2020-02-02T19:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。