論文の概要: Rethinking Sign Language Translation: The Impact of Signer Dependence on Model Evaluation

• arxiv url: http://arxiv.org/abs/2609.07965v1
• Date: Mon, 07 Sep 2026 20:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.512314
• Title: Rethinking Sign Language Translation: The Impact of Signer Dependence on Model Evaluation
• Title（参考訳）: 手話翻訳の再考:手話依存がモデル評価に及ぼす影響
• Abstract要約: 我々は,CSL-DailyとENIX14Tの3つの主要な光沢のないSLTモデルに対して,シグナーフォールドクロスバリデーションを行う。 CSLでは, 日常的に複数のシグナーが対象文を実行するため, 訓練とテストの両方に同一文を配置することができる。 以上の結果から,シグナー依存性評価はSLT能力を大幅に過大評価できる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.6148039130053087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sign Language Translation has advanced with deep learning, yet evaluations remain largely signer-dependent, with overlapping signers across train/dev/test. This raises concerns about whether models truly generalise or instead rely on signer-specific regularities. We conduct signer-fold cross-validation on GFSLT-VLP, GASLT, and SignCL, three leading, publicly available, gloss-free SLT models, on CSL-Daily and PHOENIX14T. Under signer-independent evaluation, performance drops sharply: on PHOENIX14T, GFSLT-VLP falls from BLEU-4 21.44 to 3.59 and ROUGE-L 42.49 to 11.89; GASLT from 15.74 to 8.26; and SignCL from 22.74 to 3.66. We also observe that in CSL-Daily many target sentences are performed by multiple signers, so common splits can place identical sentences in both training and test, inflating absolute scores by rewarding recall of recurring sentences rather than genuine generalisation. These findings indicate that signer-dependent evaluation can substantially overestimate SLT capability. We recommend: (1) adopting signer-independent protocols to ensure generalisation to unseen signers; (2) restructuring datasets to include explicit signer-independent, sentence-disjoint splits for consistent benchmarking; and (3) reporting both signer-dependent and signer-independent results together with train-test sentence overlap to improve transparency and comparability.
• Abstract（参考訳）: 手話翻訳は深層学習で進歩しているが、評価は主に手話に依存しており、列車/dev/テストに重複している。 これにより、モデルが真に一般化するか、代わりにシグナ固有の正規性に依存するかという懸念が持ち上がる。 我々は, GFSLT-VLP, GASLT, SignCL 上で, CSL-Daily と PHOENIX14T の3つの主要な光沢のない SLT モデル上でシグナーフォールドクロスバリデーションを行う。 PHOENIX14Tでは、GFSLT-VLPはBLEU-4 21.44から3.59に、ROUGE-L 42.49から11.89に、GASLTは15.74から8.26に、SignCLは22.74から3.66に大幅に低下した。 また, CSLでは, 日常的に複数のシグナーがターゲット文を多数実行しているため, 一般的な分割はトレーニングとテストの両方で同一の文を配置することができ, 真の一般化ではなく, 繰り返し文のリコールに報いることによって絶対スコアを膨らませることができる。 以上の結果から,シグナー依存性評価はSLT能力を大幅に過大評価できる可能性が示唆された。 我々は,(1)署名者に依存しないプロトコルを採用して,未知のシグナへの一般化を確実にすること,(2)明確なシグナ非依存の文結合分割を含むデータセットを一貫したベンチマークのために再構築すること,(3)署名者に依存しない結果と署名者非依存の結果を同時に報告すること,そして,透明性と可視性を向上させるために,列車-テスト文の重なりを伴って行うことを推奨する。

関連論文リスト

• SignSeek: Learning Transferable Representations for Sign Dictionary Retrieval [20.105725837533722]
  textbfSignSeekは、手話によるクロスコーパス検索において、最先端のパフォーマンスを新たに設定する。 全く見えないBritish Sign Language (BSL) へのゼロショットの一般化を実現している。
  論文  参考訳（メタデータ） (2026-09-03T11:31:47Z)
• Bridging the Gap Between Semantics and Reconstruction:Unifying Sign Language Translation and Production [16.56134410439223]
  手話研究の最近の進歩は、複数の手話理解サブタスクを統合する傾向を示している。 言語理解と生産をひとつのフレームワークに統合することは可能か? 統合されたフレームワークは、2つの重要な課題に対処しなければならない。
  論文  参考訳（メタデータ） (2026-08-10T02:50:07Z)
• Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification [1.5977080543655726]
  動詞化のような一般的なアプローチは、非常にスパースな出力を生み出す。 Qwen3-32B は SST-2 上では8つのユニークな信頼値しか言語化せず、半分以上は正確に95%である。 余分な推論コストを伴わずに,空白度と最良なAUARC(+2.3点)に対処する。
  論文  参考訳（メタデータ） (2026-08-05T14:24:34Z)
• Target-Side Paraphrase Augmentation for Sign Language Translation with Large Language Models [0.0]
  我々は、GPT-4oが参照文の制御されたパラフレーズを生成できる目標側拡張について検討し、符号入力は変化しない。 PHOENIX14T, 適度な語彙の多様性を持つGSL, 高度に記録された反復的な記録を持つGSL, 重度の長尾間隔を有するLSA-Tの3つのデータセットについて検討した。
  論文  参考訳（メタデータ） (2026-05-29T14:58:21Z)
• What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time [57.533031432715084]
  TTRL(Test-Time Reinforcement Learning)は、Large Language Models(LLM)が、ラベルのないテストストリームの推論能力を向上することを可能にする。 既存のTTRL法は、正の擬似ラベル戦略にのみ依存している。 本研究では,ラベル雑音増幅を効果的に緩和する堅牢なテスト時間強化学習フレームワークであるSCRLを提案する。
  論文  参考訳（メタデータ） (2026-03-20T11:47:12Z)
• Recognising BSL Fingerspelling in Continuous Signing Sequences [48.21890372724633]
  FingerspellingはBritish Sign Language(BSL)の重要なコンポーネントである 既存のBSLフィンガースペルデータセットは、規模が小さいか、時間的にも文字的にも不正確である。 我々は,反復的アノテーションフレームワークを用いて構築した大規模BSLフィンガースペルデータセットFS23Kを紹介する。
  論文  参考訳（メタデータ） (2026-03-19T23:29:31Z)
• Lost in Translation, Found in Embeddings: Sign Language Translation and Alignment [84.39962912136525]
  我々は手話翻訳(SLT)と手話字幕アライメント(SSA)を実行する手話理解モデルを開発する。 i)人間のキーポイントと唇領域の画像から手動と非手動のキューをキャプチャする軽量な視覚バックボーン,(ii)連続的な視覚特徴を単語レベルの埋め込みに集約するスライディングパーシーバーマッピングネットワーク,(iii)SLTとSSAを協調的に最適化するマルチタスクスケーラブルなトレーニング戦略である。
  論文  参考訳（メタデータ） (2025-12-08T21:05:46Z)
• SiLVERScore: Semantically-Aware Embeddings for Sign Language Generation Evaluation [29.960223851833785]
  我々は手話生成のための意味論的埋め込みに基づく評価指標SiLVERScoreを提案する。 PHOENIX-14T と CSL-Daily のデータセットでは、SiLVERScore は正しいペアとランダムなペアのほぼ完全な識別を実現している。
  論文  参考訳（メタデータ） (2025-09-04T00:58:43Z)
• Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
  テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。 単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T18:28:09Z)
• SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
  SHuBERT (Sign Hidden-Unit BERT) は、アメリカの手話ビデオ1,000時間から学習した自己教師付き文脈表現モデルである。 SHuBERTは、マスクされたトークン予測目標をマルチストリームの視覚手話入力に適用し、クラスタ化された手、顔、身体のポーズストリームに対応する複数のターゲットを予測することを学習する。 SHuBERTは手話翻訳、手話認識、指先検出など、複数のタスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-25T03:13:08Z)
• SemiReward: A General Reward Model for Semi-supervised Learning [58.47299780978101]
  半教師付き学習(SSL)は、擬似ラベリングによる自己学習フレームワークの様々な改善により、大きな進歩をみせた。 主な課題は、高品質な擬似ラベルを確認バイアスと区別する方法である。 本稿では、報酬スコアを予測して高品質な擬似ラベルを評価・フィルタリングするセミ教師付きリワードフレームワーク(SemiReward)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:56:41Z)
• On the Importance of Signer Overlap for Sign Language Detection [65.26091369630547]
  我々は,手話検出のための現在のベンチマークデータセットは,一般化が不十分な過度に肯定的な結果であると主張している。 我々は、現在の符号検出ベンチマークデータセットに対するシグナ重なりの影響を詳細に分析することでこれを定量化する。 我々は、重複のない新しいデータセット分割を提案し、より現実的なパフォーマンス評価を可能にします。
  論文  参考訳（メタデータ） (2023-03-19T22:15:05Z)
• BSL-1K: Scaling up co-articulated sign language recognition using mouthing cues [106.21067543021887]
  ビデオデータから高品質なアノテーションを得るために,シグナリングキューの使い方を示す。 BSL-1Kデータセット(英: BSL-1K dataset)は、イギリス手話(英: British Sign Language, BSL)の集合体である。
  論文  参考訳（メタデータ） (2020-07-23T16:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。