論文の概要: EviSI: An Evaluation Agent for Simultaneous Interpreting

• arxiv url: http://arxiv.org/abs/2609.08171v1
• Date: Tue, 08 Sep 2026 03:00:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 17:08:12.496913
• Title: EviSI: An Evaluation Agent for Simultaneous Interpreting
• Title（参考訳）: EviSI : 同時解釈のための評価エージェント
• Abstract要約: 音声から音声への同時翻訳は、ソースストリームが継続する間、理解、翻訳、音声配信を必要とする。 EviSIは多次元品質メトリクス(MQM)の誤り解析とペナルティ原理に適応した大規模言語モデル評価エージェントである。 共通情報源のエビデンスを構築し、意味的忠実さと口頭表現を評価し、重複するエラーとスコアを決定論的に再現する。
• 参考スコア（独自算出の注目度）: 13.644476766334755
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Simultaneous speech-to-speech translation requires understanding, translation and spoken delivery while the source stream continues. To support timely delivery and limit accumulated delay, systems adopt reformulation and summarization, which can preserve meaning while departing from written references. BLEU and COMET may not reliably distinguish such variation from semantic loss. We introduce EviSI, a large language model evaluation agent adapting the error analysis and penalty principles of Multidimensional Quality Metrics (MQM). It constructs shared source evidence, assesses semantic fidelity and oral expression, reconciles overlapping errors and scores deterministically. EviSI recovers the aggregate human system ranking for English to Chinese. Mean Kendall agreement with human system rankings within corpora reaches 0.707 for English to Chinese and 0.467 for Chinese to English, exceeding evaluated baselines. An extension across five directions shows positive concordance with COMET without human ratings. Individual output agreement with humans remains mixed.
• Abstract（参考訳）: 音声から音声への同時翻訳は、ソースストリームが継続する間、理解、翻訳、音声配信を必要とする。 タイムリーな納品と累積遅延の制限を支援するために、システムは、書面参照から離脱しながら意味を保ち得る改革と要約を採用する。 BLEUとCOMETは、そのような変異を意味喪失と確実に区別することができない。 EviSIは,多次元品質メトリクス(MQM)の誤り解析とペナルティ原理を適用した大規模言語モデル評価エージェントである。 共通情報源のエビデンスを構築し、意味的忠実さと口頭表現を評価し、重複するエラーとスコアを決定論的に再現する。 EviSIは、英語から中国語への総合的な人間システムランキングを復元する。 コーポラ内の人間システムランキングに関する平均的なケンドール合意は、英語から中国語へは0.707、中国語から英語へは0.467に達し、評価基準を超えている。 5方向の延長は、人間格付けなしでCOMETと正の一致を示す。 人間との個々の生産合意は相変わらず混在している。

関連論文リスト

• BackTranslation2.0 -- A Linguistically Motivated Metric to Assess Sign Language Production [16.248107085488332]
  本稿では,テキスト・ツー・サイン翻訳のための言語基盤評価指標であるBackTranslation2.0を紹介する。 4つの評価次元(文法的正しさ、音韻的正確性、運動流速、生成忠実度)をヒトのレーダ評価と一致させた。 本手法は,手話生成システムにおいて,より包括的,解釈可能,言語的に規定された評価枠組みを提供するため,すべての次元にわたる人間の判断と強い相関関係を示す。
  論文  参考訳（メタデータ） (2026-06-27T01:24:56Z)
• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• Cross-Lingual Stability of LLM Judges Under Controlled Generation: Evidence from Finno-Ugric Languages [0.22009842278462158]
  大規模言語モデル(LLM)の言語間評価は、典型的には、真のモデルの性能差と測定不安定性の2つの要因を混同する。 対象言語が異なる場合に生成条件を一定に保って評価信頼性を評価する。 本研究は, 形態学的に豊かな言語における談話レベルの評価には, ゼロショット・ジャッジ・トランスファーが信頼できないことを示唆している。
  論文  参考訳（メタデータ） (2026-02-02T16:27:32Z)
• Does Language Model Understand Language? [1.0450509067356148]
  自然言語の生成と理解の進歩にもかかわらず、LMは依然として粒度の細かい言語現象に苦慮している。 本研究では,英語とベンガル語の両方の難解な文脈において,SOTA言語モデルの評価を行う。 その結果,最もバランスの取れたモデルとして,多種多様な言語条件における高い相関と低いMAEを一貫して達成していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-09-15T21:09:09Z)
• Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
  本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。 我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
  論文  参考訳（メタデータ） (2025-04-10T09:24:54Z)
• BLEURT Has Universal Translations: An Analysis of Automatic Metrics by Minimum Risk Training [64.37683359609308]
  本研究では,機械翻訳システムの学習指導の観点から,各種の主流および最先端の自動測定値について分析する。 BLEURT や BARTScore における普遍的逆変換の存在など,ある種の指標は堅牢性欠陥を示す。 詳細な分析では、これらのロバスト性障害の主な原因は、トレーニングデータセットにおける分布バイアスと、メートル法パラダイムの傾向である。
  論文  参考訳（メタデータ） (2023-07-06T16:59:30Z)
• Iterative Translation Refinement with Large Language Models [25.90607157524168]
  本稿では,翻訳を自己修正するために,大規模言語モデルを反復的に提案する。 また,評価における課題と,人間のパフォーマンスと翻訳との関係についても論じる。
  論文  参考訳（メタデータ） (2023-06-06T16:51:03Z)
• BLEU Meets COMET: Combining Lexical and Neural Metrics Towards Robust Machine Translation Evaluation [12.407789866525079]
  文レベルの特徴や単語レベルのタグなど,トレーニング中に追加情報を使用することで,トレーニングされた指標が,特定の問題のある現象で翻訳をペナルティ化する能力を向上させることを示す。 文レベルの特徴や単語レベルのタグなど,トレーニング中に追加情報を使用することで,トレーニングされた指標が,特定の問題のある現象で翻訳をペナルティ化する能力を向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-30T15:50:46Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• Human-Paraphrased References Improve Neural Machine Translation [33.86920777067357]
  パラフレーズ参照へのチューニングは、人間の判断によりかなり良いシステムを生み出すことを示す。 我々の研究は、パラフレーズ参照が人間の判断と相関する指標となることを確認する。
  論文  参考訳（メタデータ） (2020-10-20T13:14:57Z)
• Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics [64.88815792555451]
  評価法は, 評価に用いる翻訳に非常に敏感であることを示す。 本研究では,人的判断に対する自動評価基準の下で,性能改善をしきい値にする方法を開発した。
  論文  参考訳（メタデータ） (2020-06-11T09:12:53Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。