論文の概要: SLU-2K: A Question-Based Benchmark for Semantic Evaluation of Sign Language Translation

• arxiv url: http://arxiv.org/abs/2606.03788v1
• Date: Tue, 02 Jun 2026 15:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.11442
• Title: SLU-2K: A Question-Based Benchmark for Semantic Evaluation of Sign Language Translation
• Title（参考訳）: SLU-2K:手話翻訳の意味的評価のための質問ベースベンチマーク
• Abstract要約: 我々は手話翻訳(SLT)から手話理解(SLU)へ焦点を移す 入力ビデオから元の文のキーセマンティックな側面を正確に復元する能力に基づいてシステムを評価する。 MLLM(Multimodal Large Language Models)と2つの最先端システムであるMMSTLとSpaMoを評価し,SLU-2Kの可能性を示す。
• 参考スコア（独自算出の注目度）: 16.817821981397277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sign Language Translation (SLT) is typically evaluated with surface-form metrics such as BLEU and ROUGE, which reward lexical overlap but do not directly measure whether a translation preserves the meaning of the source sign sequence. This is in contrast with the final objective of integrating SLT in assistive technology. In this work, we shift the focus from Sign Language Translation (SLT) to Sign Language Understanding (SLU), with particular emphasis on semantic understanding. Specifically, we evaluate systems based on their ability to correctly recover, from the input video, key semantic aspects of the original sentence, such as actions taking place and facts about people and objects. To enable this evaluation systematically, we propose SLU-2K, a dataset of 2,350 closed-ended video question-answer pairs based on the popular PHOENIX-2014T and CSL-Daily datasets. To obtain SLU-2K, we propose and extensively evaluate an automated data generation pipeline which produces questions across 7 categories, namely actions, locations, numbers, objects, people, time, and weather conditions. We show the potential of SLU-2K by evaluating popular Multimodal Large Language Models (MLLMs) and two representative state-of-the-art systems, MMSTL and SpaMo. Our results show that MLLMs reach near-random performance, highlighting the need for a more systematic integration of SLU in current AI systems. Furthermore, state-of-the-art translation systems carefully fine-tuned on in-domain data still exhibit a substantial semantic gap, with results ranging from 56.7% to 75.2%. These findings suggest that current SLT evaluation protocols overestimate true understanding and that future progress should be measured not only by fluency and n-gram overlap, but also by semantic correctness. Code, prompts, and benchmark files are available at https://github.com/ZenoTsT/SLU-2K
• Abstract（参考訳）: 符号言語翻訳(SLT)は通常、BLEUやROUGEのような表面的なメトリクスで評価される。 これは、SLTを補助技術に統合するという最終的な目的とは対照的である。 本研究では,手話翻訳(SLT)から手話理解(SLU)へと焦点を移す。 具体的には、入力ビデオから、人や物に関する行動や事実など、原文のキーセマンティックな側面を正確に回復する能力に基づいて、システムの評価を行う。 この評価を体系的に行うために、一般的なPHOENIX-2014TとCSL-Dailyのデータセットに基づいて、2350のクローズドエンドビデオ質問応答ペアのデータセットであるSLU-2Kを提案する。 SLU-2Kを実現するために,行動,位置,数,物,人,時間,気象条件など7つのカテゴリにまたがる質問を生成する自動データ生成パイプラインを提案する。 MLLM(Multimodal Large Language Models)と2つの最先端システムであるMMSTLとSpaMoを評価し,SLU-2Kの可能性を示す。 我々の結果はMLLMがほぼランダムな性能に達することを示しており、現在のAIシステムにおいてより体系的なSLUの統合の必要性を強調している。 さらに、最先端の翻訳システムは、ドメイン内のデータに基づいて慎重に微調整されており、56.7%から75.2%の範囲でかなりのセマンティックギャップがある。 これらの結果から,現在のSLT評価プロトコルは真の理解を過大評価しており,今後の進歩は流速とn-gramの重なりだけでなく,意味的正当性によっても測定されるべきであることが示唆された。 コード、プロンプト、ベンチマークファイルはhttps://github.com/ZenoTsT/SLU-2Kで入手できる。

関連論文リスト

• LLMs Encode Relevance as a Layer-Wise Cross-Lingual Signal [8.33491432828288]
  命令調整言語モデルにおける残差ストリームアクティベーションから,クエリ文書の関連性が線形に除去可能であるかを検討する。 以上の結果から,q-d関係は深さ依存信号として符号化されていることが示唆された。 いくつかのモデルでは、バリデーション選択されたプローブが生成された判断にマッチするか、性能が良くなり、システムランキングがより保存される。
  論文  参考訳（メタデータ） (2026-07-17T01:54:45Z)
• In the LLM era, Word Sense Induction remains unsolved [5.5822932775420115]
  本稿では,SemCor 由来のデータセットの評価を行い,コーパスのポリセミーと周波数分布を考察する。 言語の一部にまたがる事前学習された埋め込みとクラスタリングのアルゴリズムを評価し,LLMに基づく英語WSI手法の提案と評価を行った。
  論文  参考訳（メタデータ） (2026-03-12T08:50:45Z)
• Introducing Visual Scenes and Reasoning: A More Realistic Benchmark for Spoken Language Understanding [51.010563573083495]
  視覚画像と明示的推論の両方を統合する新しいデータセットであるVRSLUを紹介する。 オーバーイデオライズされたCAでは、GPT-4oとFLUX.1-devを使用して、ユーザの環境やステータスを反映した画像を生成し、続いて人間の検証によって品質を保証する。 推論のために、GPT-4oは予測ラベルの説明を生成するために使用され、その説明は人間のアノテータによって洗練され、精度と一貫性が保証される。
  論文  参考訳（メタデータ） (2025-11-24T11:32:24Z)
• Uni-Sign: Toward Unified Sign Language Understanding at Scale [90.76641997060513]
  本稿では,事前学習と下流SLUタスクのギャップを解消する統合事前学習フレームワークを提案する。 Uni-Signは、複数の下流SLUタスクにまたがる最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-01-25T11:51:23Z)
• Toward Informal Language Processing: Knowledge of Slang in Large Language Models [16.42982896928428]
  我々は,スラングの自動処理に関連するタスクセットの評価を支援するデータセットを構築した。 評価と微調整の両面で,2つのコアアプリケーションにおけるデータセットの有効性を示す。 GPT-4のようなLCMはゼロショット設定で優れた性能を発揮するが、我々のデータセットで微調整された小さなBERTのようなモデルは同等の性能を得る。
  論文  参考訳（メタデータ） (2024-04-02T21:50:18Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• HIT-SCIR at MMNLU-22: Consistency Regularization for Multilingual Spoken Language Understanding [56.756090143062536]
  本稿では,ハイブリッドデータ拡張戦略に基づく一貫性の正則化を提案する。 フルデータセットとゼロショット設定の両方で、MASSIVEデータセット上で実験を行う。 提案手法はインテント検出とスロット充足の両方の性能を向上させる。
  論文  参考訳（メタデータ） (2023-01-05T11:21:15Z)
• Improving Mandarin End-to-End Speech Recognition with Word N-gram Language Model [57.92200214957124]
  外部言語モデル(LM)は、エンドツーエンド(E2E)自動音声認識(ASR)システムの音声認識性能を向上させることができる。 単語レベルの格子をオンザフライで構築し,可能なすべての単語列を考慮可能な,新しい復号アルゴリズムを提案する。 提案手法は,N-gram LMやニューラルネットワーク LM など,サブワードレベルのLMを一貫して上回る。
  論文  参考訳（メタデータ） (2022-01-06T10:04:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。