論文の概要: UtilityBench: Measuring Language Model Utility When Errors Have Different Costs

• arxiv url: http://arxiv.org/abs/2610.25924v1
• Date: Mon, 19 Oct 2026 07:23:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 03:41:03.285447
• Title: UtilityBench: Measuring Language Model Utility When Errors Have Different Costs
• Title（参考訳）: UtilityBench: エラーがコストの異なる場合の言語モデルの有用性の測定
• Abstract要約: 本稿では,エラーの結果を明示的に取り入れたユーティリティベースの評価パラダイムを提案する。 UtilityAUC(UtilityAUC)は、モデルの応答順序によって決定される実用曲線の下での面積を測定する指標である。 経験的に、20の最先端モデルを評価すると、より高い精度や高度なアーキテクチャがより高いUtilityAUCに確実に変換されないことがわかった。
• 参考スコア（独自算出の注目度）: 84.8489208543529
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As language models are increasingly deployed in real-world scenarios with important outcomes, the impact of their mistakes often extends far beyond what correctness can capture. In domains like medicine, a single error can lead to serious consequences and put patient safety at risk. However, mainstream evaluation protocols still treat all errors as equal, overlooking the spectrum of real-world costs. To address this, we propose a utility-based evaluation paradigm that explicitly incorporates the varying consequences of errors. Guided by this principle, we develop UtilityBench, a large-scale benchmark of 15,000 instances with verifiable answers, quantifying error severity using Best-Worst Scaling to elicit meaningful, data-driven cost estimates. These quantified utilities shape when a model should answer or abstain, guiding it to make decisions that align with the true importance of each scenario. As another merit, we introduce UtilityAUC, a metric that measures the area under the utility curve determined by a model's response ordering, thereby enabling utility preference alignment beyond error frequency. Our theoretical analysis demonstrates that UtilityAUC can distinguish between models where standard accuracy and AURC fall short. Empirically, evaluating 20 state-of-the-art models, we find that greater accuracy or more advanced architectures do not reliably translate to higher UtilityAUC, highlighting a gap between problem-solving ability and responsible decision-making in language model evaluation.
• Abstract（参考訳）: 言語モデルは、重要な結果を伴う現実のシナリオにますますデプロイされるので、それらのミスの影響は、正確に捉えられるものよりもはるかに大きくなります。 医学のような領域では、単一のエラーが深刻な結果をもたらし、患者の安全を危険にさらすことがある。 しかし、主流評価プロトコルは、実際のコストのスペクトルを見越して、すべてのエラーを同等に扱う。 そこで本稿では,エラーの結果を明示的に取り入れたユーティリティベースの評価パラダイムを提案する。 この原理で導かれたUtilityBenchは、検証可能な15,000のインスタンスの大規模ベンチマークで、Best-Worst Scalingを用いてエラーの深刻度を定量化し、有意義でデータ駆動のコスト見積を導出する。 これらの定量化されたユーティリティは、モデルが答えるか、あるいは棄却すべきときに形作られ、各シナリオの真の重要性に合わせて決定を下す。 別のメリットとして,モデルの応答順序付けによって決定される実用曲線の下での面積を測定する指標であるUtilityAUCを導入し,エラー周波数を超える実用的優先度調整を可能にする。 我々の理論的分析は、UtilityAUCが標準精度とAURCが不足するモデルとを区別できることを示している。 経験的に、20の最先端モデルを評価すると、より高い精度や高度なアーキテクチャがより高いUtilityAUCに確実に変換されないことが分かり、言語モデル評価における問題解決能力と責任ある意思決定のギャップを浮き彫りにする。

関連論文リスト

• Decoding the Critique Mechanism in Large Reasoning Models [50.821607345799386]
  大規模推論モデル(LRM)は、バックトラックと自己検証メカニズムを示し、中間ステップを修正して正しい解に到達できるようにする。 中間推論ステップに算術ミスを挿入することにより,現在のLEMがエラーからどのように回復するかを検討する。 チェーン・オブ・シークレットを伝播する誤りにもかかわらず、モデルは依然として正しい最終解に達している。
  論文  参考訳（メタデータ） (2026-03-17T10:03:30Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Fault-Tolerant Evaluation for Sample-Efficient Model Performance Estimators [13.227055178509524]
  本稿では, バイアスと分散を考慮した耐障害性評価フレームワークを提案する。 我々は、$varepsilon$の適切なキャリブレーションにより、異なる分散状態の信頼性が保証されることを示す。 実世界のデータセットの実験は、我々のフレームワークが推定器の振る舞いに関する包括的で実行可能な洞察を提供することを示した。
  論文  参考訳（メタデータ） (2026-02-06T22:14:46Z)
• Epistemic Integrity in Large Language Models [10.50127599111102]
  大規模な言語モデルは情報ソースにますます頼っているが、偽りや誤解を招く声明の妥当性はユーザーや社会に高いリスクをもたらす。 本稿では,モデルの言語的主張が真の内部的確証を反映しないという,誤校正の重大な問題に直面する。 大規模言語モデルの言語的アサーション性を評価するための,新しい人的ミスアライメント評価と新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-10T17:10:13Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
  各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
  論文  参考訳（メタデータ） (2022-03-15T12:46:08Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。