論文の概要: Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments

• arxiv url: http://arxiv.org/abs/2606.30987v1
• Date: Mon, 29 Jun 2026 23:51:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.031293
• Title: Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments
• Title（参考訳）: 自然条件説明における判断品質の測定:予報トーナメントからの証拠
• Abstract要約: 本稿では,大言語モデル(LLM)による60理論誘導推論パターンの集合である説明品質マーカ(EQM)を紹介する。 マルチ年の予報トーナメントから55,000組以上の予報シーズンペアを事前登録した分析では、EQMは予報レベルと予報レベルの両方で精度を予測している。
• 参考スコア（独自算出の注目度）: 2.198062126576484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision-makers routinely rely on expert judgments accompanied by written explanations, yet explanation quality is difficult to measure at scale. Forecasting tournaments offer a natural testing ground: probabilistic judgments are paired with natural-language rationales and scored against realized outcomes. We introduce Explanation Quality Markers (EQMs), a set of sixty theory-guided reasoning patterns scored by large language models (LLMs). In a pre-registered analysis of over 55,000 forecast-rationale pairs from a multiyear forecasting tournament, EQMs predict accuracy at both the forecast and forecaster levels, consistently outperforming pre-LLM text-analysis methods. More than 90% of statistically significant pattern-level EQM-accuracy correlations match our directional hypotheses. The signal is asymmetric: EQMs identify likely underperformers more reliably than they distinguish the very best forecasters. Benchmarked against traditional indicators of forecasting skill, EQMs are the strongest predictor at the forecast level and competitive at the forecaster level, though weaker than prior accuracy. Human ratings of rationale quality are less consistently correlated with accuracy and place disproportionate weight on rationale length. Results transfer to an independent forecasting study. EQMs provide a scalable, interpretable method for extracting judgment-relevant information from written explanations.
• Abstract（参考訳）: 意思決定者は、記述された説明を伴う専門家の判断に常に依存するが、説明の質は大規模に測定することは困難である。 確率的判断は自然言語の合理性と組み合わせられ、実現された結果に対して得点される。 本稿では,大言語モデル (LLM) による60理論誘導推論パターンの集合である説明品質マーカー (EQM) を紹介する。 マルチ年の予報トーナメントから55,000組以上の予報レーションペアを事前登録した分析では、EQMは予測レベルと予測レベルの両方で精度を予測し、一貫してLLM前のテキスト分析方法より優れている。 統計的に有意なパターンレベルのEQM精度相関の90%以上は、我々の方向性仮説に一致する。 信号は非対称であり、EQMは、最も優れた予測器を区別するよりも、より確実な性能が低いと判断する。 予測スキルの従来の指標と比較すると、EQMは予測レベルで最強の予測器であり、予測器レベルでの競争力は以前の精度よりも弱い。 合理性品質の人間格付けは正確さと矛盾せず、合理性の長さに不均質な重みを置く。 結果は独立した予測研究に移管される。 EQMは、記述された説明から判断関連情報を抽出するスケーラブルで解釈可能な方法を提供する。

関連論文リスト

• The Role of Ambiguity in Error Prediction via Uncertainty Quantification [6.973934615085226]
  本稿では,UQ信号からの入力あいまいさを解消し,Large Language Models(LLMs)の誤り予測を改善する手法を提案する。 質問回答(QA)を6つのUQ指標を用いて実施し、UQ指標が複数の答えを持つ質問よりも曖昧なインスタンス上のエラーを予測可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-01T11:20:57Z)
• TFRBench: A Reasoning Benchmark for Evaluating Forecasting Systems [52.91956121737963]
  我々は,予測システムの推論能力を評価するための最初のベンチマークであるTFRBenchを紹介する。 本稿では,反復的検証ループを用いて,数値的に基底となる推論トレースを合成するマルチエージェント・フレームワークを提案する。 評価は,この推論が因果的に有効であること,評価に有用であること,生成したトレースでLSMを誘導することにより,予測精度が大幅に向上することを確認した。
  論文  参考訳（メタデータ） (2026-04-07T03:04:45Z)
• STAR : Bridging Statistical and Agentic Reasoning for Large Model Performance Prediction [78.0692157478247]
  本稿では,知識駆動型エージェント推論を用いて,データ駆動型静的予測を橋渡しするフレームワークSTARを提案する。 STARはスコアベースとランクベースの両方の基準線を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-12T16:30:07Z)
• d-TreeRPO: Towards More Reliable Policy Optimization for Diffusion Language Models [45.27333046908981]
  emphd-TreeRPOは、dLLMのための信頼できる強化学習フレームワークである。 我々は,emphd-TreeRPOが複数の推論ベンチマークで大きく向上していることを示す。
  論文  参考訳（メタデータ） (2025-12-10T14:20:07Z)
• Faithful and Interpretable Explanations for Complex Ensemble Time Series Forecasts using Surrogate Models and Forecastability Analysis [1.5751034894694789]
  本稿では,精度と解釈可能性のギャップを埋めるサロゲートに基づく説明手法を開発する。 スペクトル予測可能性分析を統合し,各系列固有の予測可能性の定量化を行う。 結果として得られるフレームワークは、最先端のアンサンブル予測に対する解釈可能なインスタンスレベルの説明を提供する。
  論文  参考訳（メタデータ） (2025-10-09T18:49:45Z)
• Argumentatively Coherent Judgmental Forecasting [22.109381003702595]
  我々は議論的コヒーレンスの性質を擁護し、正式に定義する。 不整合予測のフィルタリングは予測精度を一貫して向上させることを示す。 これは、議論に基づく判断予測において、一貫性のない意見をフィルタリングするメカニズムを統合する必要があることを示している。
  論文  参考訳（メタデータ） (2025-07-30T23:58:37Z)
• Consistency Checks for Language Model Forecasters [54.62507816753479]
  予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。 我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
  論文  参考訳（メタデータ） (2024-12-24T16:51:35Z)
• Hybrid Forecasting of Geopolitical Events [71.73737011120103]
  SAGEは、人間と機械が生成した予測を組み合わせたハイブリッド予測システムである。 このシステムは、確率と評価されたスキルに基づいて、人間と機械の予測の重み付けを集約する。 機械による予測にアクセスできる熟練した予測者は、過去のデータしか見ていない者よりも優れていた。
  論文  参考訳（メタデータ） (2024-12-14T22:09:45Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)
• Uncertainty estimation of pedestrian future trajectory using Bayesian approximation [137.00426219455116]
  動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。 著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。 将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
  論文  参考訳（メタデータ） (2022-05-04T04:23:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。