Fugu-MT 論文翻訳(概要): ROC Analysis for Evaluating Translation Quality Estimation Systems

論文の概要: ROC Analysis for Evaluating Translation Quality Estimation Systems

arxiv url: http://arxiv.org/abs/2605.24721v1
Date: Sat, 23 May 2026 20:23:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-26 19:50:18.346086
Title: ROC Analysis for Evaluating Translation Quality Estimation Systems
Title（参考訳）: 翻訳品質評価システム評価のためのROC解析
Authors: Evelyn Y. Garland, Carola F. Berger,
Abstract要約: 本稿では, 受信者動作特性 (ROC) 解析が有用であることを示す。 ROC分析は、現在普及しているメソッドと一致した結果を生成するだけでなく、ビジネス上の意思決定をサポートする実行可能なパフォーマンスの洞察など、いくつかの重要な利点も提供します。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The increasing use of automated translation quality estimation (QE) systems calls for practical, decision-oriented methods for evaluating their performance. We propose that Receiver Operating Characteristic (ROC) analysis is a useful approach for this purpose. Our study shows that ROC analysis not only produces results consistent with currently prevalent methods, but also offers several important advantages, including actionable performance insights that support business decision-making.
Abstract（参考訳）: 自動翻訳品質推定(QE)システムの利用が増加し、その性能を評価するための実践的で意思決定指向の手法が求められている。本稿では, 受信者動作特性 (ROC) 解析が有用であることを示す。我々の研究は、ROC分析が現在普及している手法と一致した結果を生み出すだけでなく、ビジネス上の意思決定を支援する実行可能なパフォーマンスの洞察など、いくつかの重要な利点も与えていることを示している。

関連論文リスト

Evalet: Evaluating Large Language Models by Fragmenting Outputs into Functions [26.356994721447283]
本稿では,各出力をキーフラグメントに分解し,各フラグメントが評価基準に対して機能する修辞関数を解釈する機能的フラグメント化を提案する。 Evaletでは,多くのアウトプットにまたがるフラグメントレベルの関数を可視化し,検査,評価,評価の比較を支援するインタラクティブシステムとして,このアプローチをインスタンス化する。
論文参考訳（メタデータ） (2025-09-14T10:24:13Z)
An Empirical Study of LLM-as-a-Judge: How Design Choices Impact Evaluation Reliability [2.8948274245812327]
評価における評価設計,復号化戦略, CoT (Chain-of-Tought) 推論の効果について検討した。その結果,評価基準は信頼性に重要であり,非決定的サンプリングは決定論的評価よりも人間の嗜好との整合性を向上し,CoT推論は明確な評価基準が存在する場合の利得を最小化することがわかった。
論文参考訳（メタデータ） (2025-06-16T16:04:43Z)
Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
論文参考訳（メタデータ） (2025-02-26T06:31:45Z)
Beyond Average Return in Markov Decision Processes [49.157108194438635]
我々は、分散強化学習(DistRL)のより一般的なフレームワークであっても、一般化された手段のみが正確に最適化可能であることを証明した。得られた推定器の誤差境界を提供し、このアプローチの潜在的な可能性とその限界について議論する。
論文参考訳（メタデータ） (2023-10-31T08:36:41Z)
Hierarchical Evaluation Framework: Best Practices for Human Evaluation [17.91641890651225]
NLPハマーにおける広く受け入れられている評価基準の欠如は、異なるシステム間での公正な比較と、普遍的な評価基準の確立である。我々は,NLPシステムの性能をより包括的に表現するための,独自の階層的評価フレームワークを開発した。今後の課題として,NLPシステムの評価を行う上で,提案するフレームワークの時間節約効果について検討する。
論文参考訳（メタデータ） (2023-10-03T09:46:02Z)
Crowdsourcing Evaluation of Saliency-based XAI Methods [18.18238526746074]
本稿では,クラウドソーシングによるXAI手法の評価手法を提案する。我々の手法は人間の計算ゲーム「Peek-a-boom」にインスパイアされている。自動評価と群集評価を併用した2つのデータセット上で,様々なXAI手法の精度マップを評価した。
論文参考訳（メタデータ） (2021-06-27T17:37:53Z)
Cross Learning in Deep Q-Networks [82.20059754270302]
本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
論文参考訳（メタデータ） (2020-09-29T04:58:17Z)
SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
論文参考訳（メタデータ） (2020-06-12T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。