論文の概要: ETC-Bench: A Multilingual Benchmark for Evaluation-Side Transcript Canonicalization

• arxiv url: http://arxiv.org/abs/2610.36527v2
• Date: Thu, 29 Oct 2026 07:11:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-30 22:39:27.514212
• Title: ETC-Bench: A Multilingual Benchmark for Evaluation-Side Transcript Canonicalization
• Title（参考訳）: ETC-Bench: 評価側トランスクリプト正準化のための多言語ベンチマーク
• Abstract要約: 評価側転写正準化(ETC)を定式化する。 ETCは、複数の曲面を1つの正準形式にマッピングするが、その差が音声によって決定されない。 ETC-Benchは、評価側の転写標準化のための最初の、そして最も包括的な多言語ベンチマークである。
• 参考スコア（独自算出の注目度）: 15.164513744945431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Written transcripts of the same speech can differ in ways that are not uniquely determined by the speech signal. We formulate evaluation-side transcript canonicalization (ETC), which maps multiple surface forms to a single canonical form when their differences are not determined by speech. To our knowledge, ETC-Bench is the first and most comprehensive multilingual benchmark for evaluation-side transcript canonicalization, covering 181 phenomenon types across 12 languages. Each instance is a minimal pair that shares a sentence context and differs only in a target span exhibiting one phenomenon. To evaluate both canonicalization success and semantic preservation, we propose Semantic-preserving Exact-match Normalization Accuracy (SENA), which combines exact agreement between independently canonicalized pair members with a pair-relative BERTScore constraint against information loss. We further introduce the Taxonomy-guided Agent Canonicalization Skill (TACS), which provides LLM agents with phenomenon descriptions and explicit canonicalization contracts. Experiments with five baseline configurations and three TACS-based agents show that the agents outperform the baseline systems on shared languages. ETC-Bench provides a systematic testbed for evaluation-side transcript canonicalization across languages.
• Abstract（参考訳）: 同じ音声の書き起こしは、音声信号によって一意に決定されない方法で異なる可能性がある。 評価面の転写正準化 (ETC) を定式化し, 差分が音声によって決定されない場合, 複数面の形状を単一の正準形式にマッピングする。 我々の知る限り、ETC-Benchは12言語で181の現象型をカバーし、評価側の転写正準化のための最初の、そして最も包括的な多言語ベンチマークである。 各インスタンスは、文コンテキストを共有する最小のペアであり、ひとつの現象を示すターゲットスパンでのみ異なる。 正規化の成功とセマンティック保存の両立を両立させるために,個別化された正規化ペアメンバと情報損失に対するペア相対BERTScoreの厳密な一致を結合したセマンティック保存エクスクトマッチ正規化精度(SENA)を提案する。 さらに, LLMエージェントに現象記述と明示的正準化契約を提供するTACS(Tathonomy-Guided Agent Canonicalization Skill)についても紹介する。 5つのベースライン構成と3つのTACSベースのエージェントによる実験は、エージェントが共有言語上でベースラインシステムより優れていることを示している。 ETC-Benchは、言語間の評価側の転写標準化のための体系的なテストベッドを提供する。

関連論文リスト

• Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models [17.773032447311195]
  本稿では、可視的推論トレースを構造化シーケンスとして比較するトレースレベルの分散フレームワークを提案する。 以上の結果から,多言語説明アーティファクトの一貫性を大幅に過大評価できる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-10-21T02:35:06Z)
• Improving Cross-Lingual Transfer for Sequential Sentence Classification in Research Papers via Structural Similarity [2.966819959179503]
  逐次文分類(SSC)は、科学出版物を構築する上で不可欠な課題である。 言語間移動は、非英語言語におけるトレーニングデータの不足に対処するための有望なアプローチである。
  論文  参考訳（メタデータ） (2026-09-17T03:47:49Z)
• Beyond Overlap Metrics: Rewarding Reasoning and Preferences for Faithful Multi-Role Dialogue Summarization [5.909152930998754]
  マルチロール対話要約では、複数の話者間の複雑な相互作用をモデル化する必要がある。 既存のほとんどのメソッドはROUGEやBERTScoreのような自動メトリクスに最適化されている。 報酬に基づく最適化と明示的な認知的推論を結合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2026-04-19T01:27:41Z)
• Multilingual Cognitive Impairment Detection in the Era of Foundation Models [6.141505279958125]
  英語,スロベニア語,韓国語における音声の書き起こしから認知障害(CI)分類を評価する。 直接分類器として用いられるゼロショット大言語モデル(LLM)を3つの入力条件下で比較する。
  論文  参考訳（メタデータ） (2026-04-08T07:22:43Z)
• AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering [97.52852990265136]
  音声対応大規模言語モデルの推論機能を活用するバックボーン非依存評価フレームワークであるAQAScoreを紹介する。 AQAScoreは人格関連性、ペア比較、構成推論タスクを含む複数のベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-01-21T07:35:36Z)
• SiLVERScore: Semantically-Aware Embeddings for Sign Language Generation Evaluation [29.960223851833785]
  我々は手話生成のための意味論的埋め込みに基づく評価指標SiLVERScoreを提案する。 PHOENIX-14T と CSL-Daily のデータセットでは、SiLVERScore は正しいペアとランダムなペアのほぼ完全な識別を実現している。
  論文  参考訳（メタデータ） (2025-09-04T00:58:43Z)
• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。