論文の概要: Evaluating Communicative Success in Machine-Translated Conversation

• arxiv url: http://arxiv.org/abs/2609.19885v1
• Date: Thu, 17 Sep 2026 08:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.169715
• Title: Evaluating Communicative Success in Machine-Translated Conversation
• Title（参考訳）: 機械翻訳会話におけるコミュニケーション成功の評価
• Abstract要約: 本稿では, 意味, 実践的, 文化的・社会的側面にまたがるインタプリタによる対話を評価する, 再利用可能な3層チェックリスト・アンド・ジャッジフレームワークを提案する。 メインのシングルターンベンチマークでは、アラビア語、ベンガル語、インドネシア語、韓国語で5,624のOpenSubtitles由来のシナリオから10のインタプリタのセットアップを評価しています。 その結果,従来のMT指標では,より強い通訳の失敗を見落としているのに対し,意味論から実践的,文化的・社会的成功への一貫した減少がみられた。
• 参考スコア（独自算出の注目度）: 26.18380795844394
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Interpreter agents built on machine translation (MT) increasingly mediate live conversation between people who do not share a language, yet we still evaluate them with metrics built for isolated sentences, which measure fidelity rather than whether communication succeeds. We introduce a reusable three-layer checklist-and-judge framework that evaluates interpreter-mediated conversation across semantic, pragmatic, and cultural-social dimensions, covering the naturalness, intent, and social appropriateness that fidelity metrics leave unmeasured. It runs in both single-turn and interactive multi-turn settings, where simulated users reply to translated messages as the conversation unfolds and each turn is scored alongside the conversation as a whole. We extensively validate it through controlled perturbations, cross-judge comparisons, and human annotations. Our main single-turn benchmark evaluates 10 interpreter setups across Arabic, Bengali, Indonesian, and Korean from 5,624 OpenSubtitles-derived scenarios spanning 12 translation directions, and our multi-turn study covers all 6 language pairs in scripted and live modes. Results show a consistent decline from semantic to pragmatic and cultural-social success, while conventional MT metrics overlook failures among stronger interpreters, and prompt ablations show that scenario context, structured instructions, and cultural context improve communicative success, although gains vary across setups. Our work thus provides an evaluation framework and benchmark for interpreter agents in conversation, and highlights the importance of communicative success alongside existing translation metrics.
• Abstract（参考訳）: 機械翻訳(MT)に基づいて構築された解釈エージェントは、言語を共有しない人々間のライブ会話を仲介する傾向にあるが、それでも、コミュニケーションが成功するかどうかではなく、忠実度を測定する独立した文のために構築されたメトリクスでそれらを評価している。 本研究では, 意味, 実践的, 文化的・社会的側面をまたいだインタプリタによる対話の評価を行う, 再利用可能な3層チェックリスト・アンド・ジャッジフレームワークを提案する。 シングルターンとインタラクティブなマルチターンの設定の両方で動作し、ユーザーは会話が展開するにつれて翻訳されたメッセージに応答し、各ターンは会話全体と一緒にスコアされる。 我々は、制御された摂動、クロスジャッジ比較、人間のアノテーションを通じてそれを広範囲に検証する。 メインのシングルターンベンチマークでは、アラビア語、ベンガル語、インドネシア語、韓国語にまたがる10のインタプリタを、5,624のOpenSubtitles固有のシナリオから評価しています。 結果から,従来のMT尺度では強い通訳の失敗を見落としているのに対して,従来のMT尺度では,シナリオコンテキストや構造的指示,文化的コンテキストがコミュニケーション的成功を改善することが示唆された。 そこで本研究は,会話におけるインタプリタエージェントの評価フレームワークとベンチマークを提供し,既存の翻訳指標とともにコミュニケーション成功の重要性を強調した。

関連論文リスト

• How Far Can Machine Translation Quality Take You? Extrinsic Discourse Evaluation in Goal-Oriented Setups [8.64753386599377]
  本研究では,静的・インタラクティブな2つの条件下での機械翻訳の非本質的な言論評価に焦点を当てた。 静的な状態下では、談話における参照整合性の探索としてエンティティカウントタスクを提案する。 対話型体制においては,長期コミュニケーションと協調の探究として,目標指向の多エージェント福祉外交ゲームについて検討する。
  論文  参考訳（メタデータ） (2026-06-15T11:44:02Z)
• Bridging the Usability Gap: Lessons from Interpreting Studies for Machine Interpreting Design [0.0]
  機械解釈(英: Machine Interpreting、MI)は、音声翻訳のリアルタイムな応用である。 しかし、ユーザエクスペリエンスはインタープリタ経由の通信よりもはるかに劣っている。 本稿では、MIを音声翻訳の異なるサブフィールドとして定義する。
  論文  参考訳（メタデータ） (2026-06-14T20:41:59Z)
• Ouvia: A User-centered Framework for Measuring Usability of Speech Translation in Real-World Communication Scenarios [63.167237308464536]
  音声翻訳(ST)はユーザアプリケーションではますます普及しているが、その評価は非テキスト化テストベッドと全体的な品質に重点を置いている。 実環境における音声翻訳のユーザビリティを評価するための評価フレームワークであるOuviaを紹介する。
  論文  参考訳（メタデータ） (2026-06-04T13:52:21Z)
• XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
  9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。 MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。 XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
  論文  参考訳（メタデータ） (2026-04-16T12:27:10Z)
• MT-PingEval: Evaluating Multi-Turn Collaboration with Private Information Games [70.37904949359938]
  我々は,プライベート情報に関する効果的なコミュニケーションを必要とする協調ゲーム群を用いて,マルチターンインタラクションにおける言語モデルの評価を行った。 言語モデルでは,非対話的なベースラインシナリオを改善するために,対話的なコラボレーションを利用できないことがわかった。 我々は,これらの対話の言語的特徴を分析し,サイコフナンシー,情報密度,談話コヒーレンスの役割を評価する。
  論文  参考訳（メタデータ） (2026-02-27T17:13:20Z)
• Liaozhai through the Looking-Glass: On Paratextual Explicitation of Culture-Bound Terms in Machine Translation [70.43884512651668]
  我々は、文学・翻訳研究からジェネットのパラテキスト論(1987年)を定式化し、機械翻訳におけるパラテキスト明示の課題を紹介した。 古典中国語の短編集集Liaozhaiの4つの英訳から560の専門家対応パラテキストのデータセットを構築した。 本研究は,言語的等価性を超えた機械翻訳におけるパラテクスト的明示の可能性を示すものである。
  論文  参考訳（メタデータ） (2025-09-27T16:27:36Z)
• Team ACK at SemEval-2025 Task 2: Beyond Word-for-Word Machine Translation for English-Korean Pairs [23.19401079530962]
  英語と韓国語の間で知識に富んだ、エンティティに富んだテキストを翻訳するには、言語固有の、文化的なニュアンスを保存するためのトランスクリエーションが必要である。 自動計測とバイリンガルアノテータによる人的評価を用いて13のモデル(LLMとMTモデル)を評価する。
  論文  参考訳（メタデータ） (2025-04-29T05:58:19Z)
• A Context-aware Framework for Translation-mediated Conversations [29.169155271343083]
  学習と推論において,バイリンガルな会話設定に文脈情報を組み込むことで,大規模言語モデルに基づく翻訳システムを改善する枠組みを提案する。 提案するフレームワークは,2つのタスク指向ドメイン – ユーザチャットとユーザ-アシストインタラクション – で検証する。 両方の設定で、フレームワーク-TowerChatで生成されたシステムは、GPT-4oやT TowerInstructのような最先端のシステムよりも優れた翻訳結果をもたらす。
  論文  参考訳（メタデータ） (2024-12-05T14:41:05Z)
• Exploring the Correlation between Human and Machine Evaluation of Simultaneous Speech Translation [0.9576327614980397]
  本研究では,人間の評価と相関関係を解析することにより,同時解釈評価における自動メトリクスの信頼性を評価することを目的とする。 ベンチマークでは,言語専門家による人間の評価を用いて,文の埋め込みと大規模言語モデルとの相関性を評価する。 その結果, GPTモデル, 特に直接的プロンプトを用いた GPT-3.5 は, ソーステキストとターゲットテキストのセマンティックな類似性の観点から, 人間の判断と最強の相関を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-06-14T14:47:19Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。