論文の概要: BackTranslation2.0 -- A Linguistically Motivated Metric to Assess Sign Language Production
- arxiv url: http://arxiv.org/abs/2606.28673v1
- Date: Sat, 27 Jun 2026 01:24:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.638279
- Title: BackTranslation2.0 -- A Linguistically Motivated Metric to Assess Sign Language Production
- Title（参考訳）: BackTranslation2.0 -- 手話生産を評価するために言語的に動機づけられたメトリクス
- Abstract要約: 本稿では,テキスト・ツー・サイン翻訳のための言語基盤評価指標であるBackTranslation2.0を紹介する。
4つの評価次元(文法的正しさ、音韻的正確性、運動流速、生成忠実度)をヒトのレーダ評価と一致させた。
本手法は,手話生成システムにおいて,より包括的,解釈可能,言語的に規定された評価枠組みを提供するため,すべての次元にわたる人間の判断と強い相関関係を示す。
- 参考スコア（独自算出の注目度）: 16.248107085488332
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sign Languages (SLs) are the primary means of communication for millions of deaf individuals, yet existing evaluation metrics for generated SL remain simplistic and poorly aligned with human judgements. We introduce BackTranslation2.0, a linguistically grounded evaluation metric for text-to-sign translation that moves beyond naïve backtranslation. Our approach adopts an agentic framework in which a deterministic pipeline orchestrates a suite of specialised tools to assess four scoring dimensions - grammatical correctness, phonological accuracy, motion fluency, and generation fidelity - aligned with human rater assessments. Tool outputs are not treated independently: a set of large language model (LLM)-based cross-referential comparison modules evaluates consistency across tools and checks outputs against linguistic expectations, enabling structured reasoning over grammatical, phonological, and motion-level evidence. Final dimension scores are computed through deterministic weighted formulas over validated tool outputs. To validate BackTranslation2.0, we introduce and evaluate on a British Sign Language (BSL) dataset rated in a human rater study across the same quality dimensions, following a protocol developed in collaboration between linguists and deaf experts, benchmarking against six baseline metrics. Our method demonstrates strong correlation with human judgements across all dimensions, providing a more comprehensive, interpretable, and linguistically principled evaluation framework for sign language production systems.
- Abstract（参考訳）: 手話(SL)は、何百万人もの聴覚障害者にとって主要なコミュニケーション手段であるが、生成したSLに対する既存の評価基準は、単純で人間の判断と整合性に乏しいままである。
本稿では,テキストから手話への翻訳を言語的に基礎づけた評価指標であるBackTranslation2.0を紹介する。
提案手法では,決定論的パイプラインが,文法的正確性,音韻的正確性,動き流速,生成忠実度という,人間のレーダ評価に適合する4つの評価次元を評価するための,特殊化されたツール群を編成するエージェント・フレームワークを採用する。
大規模言語モデル(LLM)に基づく相互参照比較モジュールは、ツール間の一貫性を評価し、言語的な期待に対して出力をチェックする。
最終次元スコアは、検証されたツール出力に対する決定論的重み付け式によって計算される。
BackTranslation2.0を検証するために、我々は、言語学者と聴覚専門家の協調で開発されたプロトコルに従って、6つの基準指標に対してベンチマークを行い、人間のレーダ調査で評価されたBritish Sign Language (BSL)データセットを導入し、評価した。
本手法は,手話生成システムにおいて,より包括的,解釈可能,言語的に規定された評価枠組みを提供するため,すべての次元にわたる人間の判断と強い相関関係を示す。
関連論文リスト
- EviSI: An Evidence-Based Evaluation Agent for Simultaneous Interpreting [15.392286631815763]
EviSIは多次元品質指標(MQM)とプロのインタプリタで開発された基準を組み合わせた大規模言語モデル評価エージェントである。
EviSIは、人格の英語から中国語、中国語、英語のデータに対して、総合的な英語から中国語の人格のランキングを復元する。
人間の評価のない5方向への多言語拡張は、次元とスコアリングルールを保持し、COMETとの正のシステムランキング相関を示す。
論文 参考訳（メタデータ） (2026-09-08T03:00:11Z) - How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework [0.47954782871066737]
本研究では,人間的類似性を評価する文脈認識評価フレームワークを提案する。
我々は,最大平均離散性(MMD)と,Biberが導入した67の語彙文法的特徴を用いて,この枠組みを実装した。
論文 参考訳（メタデータ） (2026-05-22T14:04:25Z) - XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。
MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。
XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
論文 参考訳（メタデータ） (2026-04-16T12:27:10Z) - Cross-Lingual LLM-Judge Transfer via Evaluation Decomposition [13.066970846043576]
我々は,Universal Criteria Set (UCS) を中心に構築された分解に基づく評価フレームワークを提案する。
UCSは言語に依存しない評価次元の集合で構成され、解釈可能な中間表現を生成する。
言語やモデルバックボーンにまたがる複数の忠実度タスクの実験では、ターゲット言語アノテーションを必要とせずに一貫した改善が示されている。
論文 参考訳（メタデータ） (2026-03-19T07:11:31Z) - On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。
本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
論文 参考訳（メタデータ） (2026-01-09T22:01:56Z) - Towards Corpus-Grounded Agentic LLMs for Multilingual Grammatical Analysis [0.5545791216381869]
本稿では, エージェント型大規模言語モデル (LLM) を用いて, 注釈付きコーパスの体系的解析を効率化する方法について検討する。
本稿では,自然言語タスク解釈などの概念を統合したコーパスグラウンド文法解析のためのエージェントフレームワークを提案する。
We test the system on multilingual grammatical tasks by the World Atlas of Language Structures (WALS) (英語)
論文 参考訳（メタデータ） (2025-11-28T21:27:58Z) - Does Language Model Understand Language? [1.0450509067356148]
自然言語の生成と理解の進歩にもかかわらず、LMは依然として粒度の細かい言語現象に苦慮している。
本研究では,英語とベンガル語の両方の難解な文脈において,SOTA言語モデルの評価を行う。
その結果,最もバランスの取れたモデルとして,多種多様な言語条件における高い相関と低いMAEを一貫して達成していることが明らかとなった。
論文 参考訳（メタデータ） (2025-09-15T21:09:09Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳（メタデータ） (2023-07-16T15:18:25Z) - A Massively Multilingual Analysis of Cross-linguality in Shared
Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。
我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。
我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文 参考訳（メタデータ） (2021-09-13T21:05:37Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳（メタデータ） (2021-03-21T17:20:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。