論文の概要: DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems

• arxiv url: http://arxiv.org/abs/2610.28522v1
• Date: Tue, 20 Oct 2026 16:57:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.938414
• Title: DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems
• Title（参考訳）: 決定Pivot: LLMシステムにおける決定モデルの診断ベンチマーク
• Abstract要約: DecisionPivotは、48のタスクと7つの決定ロールにわたる40,033のアイテムからなる診断ベンチマークである。 文書化された、モデル固有のプロトコルを用いて、40の意思決定モデルと14の一般モデルを評価する。
• 参考スコア（独自算出の注目度）: 20.41716710043437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision models support routing, guardrails, and output verification in LLM systems. However, item accuracy alone cannot establish whether models make correct decisions across controlled variations or assign reliable confidence to their predictions. We introduce DecisionPivot, a diagnostic benchmark comprising 48 tasks and 40,033 items across seven decision roles. Its core track contains 7,800 items from 13 generated task families, organized into contrast groups with computed answers verified by independently implemented solvers. The complementary reference track contains 32,233 items from 35 public test sets, preserving their original evaluation metrics. We evaluate 40 decision models and 14 general models using documented, model-specific protocols, assessing item and contrast-group accuracy, probability ordering, calibration, and empirical selective coverage. Our results reveal substantial differences obscured by aggregate scores: two 27B models separated by only 2.6 points on the reference track achieve contrast-group accuracies of 70.1% and 44.2%. Across 2,400 binary contrast pairs, Perplexity Decider correctly ranks the positive member above the negative member in 92.3% of pairs but answers both members correctly in only 74.1%, exposing a gap between probability ordering and decision correctness. Models with similar item accuracy also differ in the reliability of their high-confidence predictions. On a separate 1,296-item subset, GLM-5.3 achieves 93.5\% contrast-group accuracy at a higher reasoning setting, compared with 81.5% at its lowest effort. By linking errors to pivotal details and difficulty levels, DecisionPivot provides fine-grained diagnostics of decision failures that aggregate evaluation alone cannot reveal.
• Abstract（参考訳）: 決定モデルは、LLMシステムにおけるルーティング、ガードレール、出力検証をサポートする。 しかし、アイテムの正確性だけでは、制御されたバリエーション間で正しい決定をするか、または予測に信頼できる信頼を割り当てるかは確定できない。 私たちは、48のタスクと7つの決定ロールにわたる40,033のアイテムからなる診断ベンチマークであるDecisionPivotを紹介します。 コアトラックには、13の生成されたタスクファミリーから7,800の項目が含まれており、独立に実装された問題解決者によって検証された計算された回答を持つコントラストグループで構成されている。 補完的な基準トラックには、35の公開テストセットから32,233項目が含まれており、元の評価指標が保存されている。 我々は、文書化された、モデル固有のプロトコル、アイテムとコントラストの精度の評価、確率順序付け、キャリブレーション、経験的選択カバレッジを用いて、40の意思決定モデルと14の一般モデルを評価する。 基準軌道上の2.6ポイントしか分離されていない2つの27Bモデルは、70.1%と44.2%のコントラスト群アキュラシーを達成している。 2400対以上の2400対のコントラスト対において、Perplexity Deciderは正の部材を92.3%のペアで正しくランク付けするが、両部材を正の74.1%で答え、確率順序と決定正しさのギャップを露呈する。 類似した項目精度のモデルも、信頼性の高い予測の信頼性が異なる。 1,296-itemの別のサブセットでは、GLM-5.3は93.5\%のコントラストグループの精度を高い推論条件で達成している。 エラーを重要な詳細と難易度にリンクすることで、DecisionPivotは、評価だけでは明らかにできない決定失敗のきめ細かい診断を提供する。

関連論文リスト

• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• StartLux-Decision: AutoThink Decision Models with Reinforcement Learning for Calibrated Deliberative Decisions [22.939061891515767]
  本稿では,効率の良いシングルパス予測と適応的・信頼誘導推論を組み合わせた0.8Bから27Bパラメータの意思決定モデルを提案する。 Instantモデルは、フルアテンション層における双方向の注意を使って、単一パスの推論を維持しながら、決定精度を向上させる。 AutoThinkモデルは、不確実な決定に対する明示的な推論を呼び起こし、自信のあるケースに直接答える。
  論文  参考訳（メタデータ） (2026-10-12T19:05:56Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• The Delegation Blind Spot: Auditing Product Decisions from Agent Choices [2.731113456484581]
  成功したエージェントの実行は、ユーザがどの製品に価値をもたらすかを識別する必要がない。 本稿では、宣言された観察チャンネルと製品価値を、互換性のある間隔や目撃者集団と対比する決定特異的監査を提案する。
  論文  参考訳（メタデータ） (2026-09-22T16:15:55Z)
• Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution [0.0]
  予測市場は、不確実な出来事を予測するために集合的なインテリジェンスを集約する。 既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。 マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-05-29T03:44:19Z)
• How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
  共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。 実際には、これは相関した推論パターンと同期された障害として現れます。 ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
  論文  参考訳（メタデータ） (2026-04-08T23:32:06Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Tracing LLM Reasoning Processes with Strategic Games: A Framework for Planning, Revision, and Resource-Constrained Decision Making [38.75183725659772]
  大規模言語モデル(LLM)は、複雑な推論を必要とするタスクにますます使われている。 モデル動作の理解と信頼性向上には,内部プロセスの測定が不可欠である,と我々は主張する。 計画,修正,資源制約のある意思決定という3つの中核的な側面に沿ってLCMを評価する枠組みを導入する。
  論文  参考訳（メタデータ） (2025-06-13T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。