論文の概要: SLU-2K: A Question-Based Benchmark for Semantic Evaluation of Sign Language Translation

• arxiv url: http://arxiv.org/abs/2606.03788v1
• Date: Tue, 02 Jun 2026 15:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.11442
• Title: SLU-2K: A Question-Based Benchmark for Semantic Evaluation of Sign Language Translation
• Title（参考訳）: SLU-2K:手話翻訳の意味的評価のための質問ベースベンチマーク
• Authors: Zeno Testa, Antonino Furnari, Lorenzo Baraldi, Natalia Díaz-Rodríguez,
• Abstract要約: 我々は手話翻訳(SLT)から手話理解(SLU)へ焦点を移す 入力ビデオから元の文のキーセマンティックな側面を正確に復元する能力に基づいてシステムを評価する。 MLLM(Multimodal Large Language Models)と2つの最先端システムであるMMSTLとSpaMoを評価し,SLU-2Kの可能性を示す。
• 参考スコア（独自算出の注目度）: 16.817821981397277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign Language Translation (SLT) is typically evaluated with surface-form metrics such as BLEU and ROUGE, which reward lexical overlap but do not directly measure whether a translation preserves the meaning of the source sign sequence. This is in contrast with the final objective of integrating SLT in assistive technology. In this work, we shift the focus from Sign Language Translation (SLT) to Sign Language Understanding (SLU), with particular emphasis on semantic understanding. Specifically, we evaluate systems based on their ability to correctly recover, from the input video, key semantic aspects of the original sentence, such as actions taking place and facts about people and objects. To enable this evaluation systematically, we propose SLU-2K, a dataset of 2,350 closed-ended video question-answer pairs based on the popular PHOENIX-2014T and CSL-Daily datasets. To obtain SLU-2K, we propose and extensively evaluate an automated data generation pipeline which produces questions across 7 categories, namely actions, locations, numbers, objects, people, time, and weather conditions. We show the potential of SLU-2K by evaluating popular Multimodal Large Language Models (MLLMs) and two representative state-of-the-art systems, MMSTL and SpaMo. Our results show that MLLMs reach near-random performance, highlighting the need for a more systematic integration of SLU in current AI systems. Furthermore, state-of-the-art translation systems carefully fine-tuned on in-domain data still exhibit a substantial semantic gap, with results ranging from 56.7% to 75.2%. These findings suggest that current SLT evaluation protocols overestimate true understanding and that future progress should be measured not only by fluency and n-gram overlap, but also by semantic correctness. Code, prompts, and benchmark files are available at https://github.com/ZenoTsT/SLU-2K
• Abstract（参考訳）: 符号言語翻訳(SLT)は通常、BLEUやROUGEのような表面的なメトリクスで評価される。 これは、SLTを補助技術に統合するという最終的な目的とは対照的である。 本研究では,手話翻訳(SLT)から手話理解(SLU)へと焦点を移す。 具体的には、入力ビデオから、人や物に関する行動や事実など、原文のキーセマンティックな側面を正確に回復する能力に基づいて、システムの評価を行う。 この評価を体系的に行うために、一般的なPHOENIX-2014TとCSL-Dailyのデータセットに基づいて、2350のクローズドエンドビデオ質問応答ペアのデータセットであるSLU-2Kを提案する。 SLU-2Kを実現するために,行動,位置,数,物,人,時間,気象条件など7つのカテゴリにまたがる質問を生成する自動データ生成パイプラインを提案する。 MLLM(Multimodal Large Language Models)と2つの最先端システムであるMMSTLとSpaMoを評価し,SLU-2Kの可能性を示す。 我々の結果はMLLMがほぼランダムな性能に達することを示しており、現在のAIシステムにおいてより体系的なSLUの統合の必要性を強調している。 さらに、最先端の翻訳システムは、ドメイン内のデータに基づいて慎重に微調整されており、56.7%から75.2%の範囲でかなりのセマンティックギャップがある。 これらの結果から,現在のSLT評価プロトコルは真の理解を過大評価しており,今後の進歩は流速とn-gramの重なりだけでなく,意味的正当性によっても測定されるべきであることが示唆された。 コード、プロンプト、ベンチマークファイルはhttps://github.com/ZenoTsT/SLU-2Kで入手できる。

関連論文リスト

• Introducing Visual Scenes and Reasoning: A More Realistic Benchmark for Spoken Language Understanding [51.010563573083495]
  視覚画像と明示的推論の両方を統合する新しいデータセットであるVRSLUを紹介する。 オーバーイデオライズされたCAでは、GPT-4oとFLUX.1-devを使用して、ユーザの環境やステータスを反映した画像を生成し、続いて人間の検証によって品質を保証する。 推論のために、GPT-4oは予測ラベルの説明を生成するために使用され、その説明は人間のアノテータによって洗練され、精度と一貫性が保証される。
  論文  参考訳（メタデータ） (2025-11-24T11:32:24Z)
• Uni-Sign: Toward Unified Sign Language Understanding at Scale [90.76641997060513]
  本稿では,事前学習と下流SLUタスクのギャップを解消する統合事前学習フレームワークを提案する。 Uni-Signは、複数の下流SLUタスクにまたがる最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-01-25T11:51:23Z)
• Toward Informal Language Processing: Knowledge of Slang in Large Language Models [16.42982896928428]
  我々は,スラングの自動処理に関連するタスクセットの評価を支援するデータセットを構築した。 評価と微調整の両面で,2つのコアアプリケーションにおけるデータセットの有効性を示す。 GPT-4のようなLCMはゼロショット設定で優れた性能を発揮するが、我々のデータセットで微調整された小さなBERTのようなモデルは同等の性能を得る。
  論文  参考訳（メタデータ） (2024-04-02T21:50:18Z)
• HIT-SCIR at MMNLU-22: Consistency Regularization for Multilingual Spoken Language Understanding [56.756090143062536]
  本稿では,ハイブリッドデータ拡張戦略に基づく一貫性の正則化を提案する。 フルデータセットとゼロショット設定の両方で、MASSIVEデータセット上で実験を行う。 提案手法はインテント検出とスロット充足の両方の性能を向上させる。
  論文  参考訳（メタデータ） (2023-01-05T11:21:15Z)
• Improving Mandarin End-to-End Speech Recognition with Word N-gram Language Model [57.92200214957124]
  外部言語モデル(LM)は、エンドツーエンド(E2E)自動音声認識(ASR)システムの音声認識性能を向上させることができる。 単語レベルの格子をオンザフライで構築し,可能なすべての単語列を考慮可能な,新しい復号アルゴリズムを提案する。 提案手法は,N-gram LMやニューラルネットワーク LM など,サブワードレベルのLMを一貫して上回る。
  論文  参考訳（メタデータ） (2022-01-06T10:04:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。