論文の概要: Should I Share this Translation? Evaluating Quality Feedback for User Reliance on Machine Translation

• arxiv url: http://arxiv.org/abs/2505.24683v1
• Date: Fri, 30 May 2025 15:08:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.020605
• Title: Should I Share this Translation? Evaluating Quality Feedback for User Reliance on Machine Translation
• Title（参考訳）: この翻訳を共有すべきか? : 機械翻訳におけるユーザ信頼度の品質フィードバックの評価
• Authors: Dayeon Ki, Kevin Duh, Marine Carpuat,
• Abstract要約: 本研究では,モノリンガルなユーザがまずMT出力を共有するか,次に品質フィードバックで共有するかを決定する,現実的な機械翻訳(MT)シナリオについて検討する。 エラーハイライトを除くすべてのフィードバックタイプは、決定精度と適切な信頼の両方を著しく改善する。
• 参考スコア（独自算出の注目度）: 24.088731832956373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As people increasingly use AI systems in work and daily life, feedback mechanisms that help them use AI responsibly are urgently needed, particularly in settings where users are not equipped to assess the quality of AI predictions. We study a realistic Machine Translation (MT) scenario where monolingual users decide whether to share an MT output, first without and then with quality feedback. We compare four types of quality feedback: explicit feedback that directly give users an assessment of translation quality using 1) error highlights and 2) LLM explanations, and implicit feedback that helps users compare MT inputs and outputs through 3) backtranslation and 4) question-answer (QA) tables. We find that all feedback types, except error highlights, significantly improve both decision accuracy and appropriate reliance. Notably, implicit feedback, especially QA tables, yields significantly greater gains than explicit feedback in terms of decision accuracy, appropriate reliance, and user perceptions, receiving the highest ratings for helpfulness and trust, and the lowest for mental burden.
• Abstract（参考訳）: 職場や日常生活でAIシステムを使う人が増えていくにつれて、特にユーザーがAI予測の品質を評価できないような環境では、AIの使用に責任を負うようなフィードバックメカニズムが緊急に必要になる。 本研究では,モノリンガルなユーザがまずMT出力を共有するか,次に品質フィードバックを伴わないかを決定する,現実的な機械翻訳(MT)シナリオについて検討する。 ユーザに直接翻訳品質の評価を与える明示的なフィードバックという,4種類の品質フィードバックを比較した。 1)エラーハイライトとエラーハイライト 2) MT入力と出力の比較を支援するLCM説明と暗黙のフィードバック 3) 逆翻訳と 4)QAテーブル。 エラーハイライトを除くすべてのフィードバックタイプは、決定精度と適切な信頼の両方を著しく改善する。 特に、暗黙的なフィードバック、特にQA表は、決定の正確さ、適切な信頼、ユーザの認識の点で、明示的なフィードバックよりもはるかに大きな利得をもたらします。

関連論文リスト

• AskQE: Question Answering as Automatic Evaluation for Machine Translation [24.088731832956373]
  本稿では,重要なMTエラーを検出し,実用的なフィードバックを提供するための質問生成および回答フレームワークであるAskQEを紹介する。 そこでAskQEはKendallのTau相関と判定精度を、他のQE指標と比較して高く評価する。
  論文  参考訳（メタデータ） (2025-04-15T19:57:42Z)
• Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
  本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。 我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
  論文  参考訳（メタデータ） (2025-04-10T09:24:54Z)
• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model [75.66013048128302]
  本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。 まず,QEに基づくフィードバックトレーニングにおいて,翻訳品質が低下する中で,報酬の増大として現れる過度な最適化問題を同定した。 問題に対処するために,ルールを用いて誤った翻訳を検知し,報酬のスコアにペナルティ項を割り当てる,シンプルで効果的な手法を採用する。
  論文  参考訳（メタデータ） (2024-01-23T16:07:43Z)
• Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality? [61.866103154161884]
  ニューラルマシン翻訳(NMT)は、意識せずに起こる失敗に対してしばしば批判される。 本稿では,従来のNMTを自己推定器で拡張することで,新たな能力認識型NMTを提案する。 提案手法は品質評価において優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-25T02:39:41Z)
• HOPE: A Task-Oriented and Human-Centric Evaluation Framework Using Professional Post-Editing Towards More Effective MT Evaluation [0.0]
  本研究では,機械翻訳出力のためのタスク指向・人間中心評価フレームワークHOPEを紹介する。 一般的に発生するエラーの種類は限られており、各翻訳ユニットにエラー重大度レベルを反映する誤差ペナルティポイント(EPP)の幾何学的進行を伴うスコアリングモデルを使用する。 このアプローチには、異なるシステムからの完全なMT出力を測定および比較する能力、品質に対する人間の認識を示す能力、MT出力を高品質にするために必要となる労力の即時見積、低コストで高速なアプリケーション、より高いIRRなど、いくつかの重要な利点がある。
  論文  参考訳（メタデータ） (2021-12-27T18:47:43Z)
• Backtranslation Feedback Improves User Confidence in MT, Not Quality [18.282199360280433]
  アウトバウンド翻訳に対するユーザーの信頼感と、全体的な最終品質に影響を与える3つの方法を紹介します。 本稿では,英語からチェコ語,エストニア語へのアウトバウンド翻訳実験について述べる。 逆変換のフィードバックは、プロセス全体に対して混合効果を持つ: 生成した翻訳に対するユーザの信頼度を高めるが、客観的な品質ではない。
  論文  参考訳（メタデータ） (2021-04-12T17:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。