論文の概要: Multi-Estimate Elicitation Does Not Uniformly Debias Language Model Judgments

• arxiv url: http://arxiv.org/abs/2611.00597v2
• Date: Thu, 05 Nov 2026 07:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.258129
• Title: Multi-Estimate Elicitation Does Not Uniformly Debias Language Model Judgments
• Title（参考訳）: 言語モデル判断を不均一にデバイアスしないマルチ推定的励振
• Abstract要約: 我々は、アンカー、アンカー、アンカー、ベースレート、アソナライズ、ステータス・クオ/デフォルトタスク間の直接的および複数の推定的エリケーションを比較した。 5つの構成で45の事前登録された確認テストのうち、12が完全なケースを拒絶し、11が方向確認を維持している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Does eliciting five weighted estimates within a single response consistently improve numerical judgments? We compare direct and multi-estimate elicitation across anchoring, hindsight, base-rate, conjunction, and status-quo/default tasks in six frozen configurations. Each configuration contributes 618 admitted development units and 3,702 admitted formal units; the six-configuration formal cohort contains 22,212 units, including 21 missing outcomes. Of 45 preregistered confirmatory tests across five configurations, 12 reject on complete cases and 11 retain directional confirmation after the prespecified missingness-protection rule. Only one adjusted bound exceeds its smallest effect size of interest: gpt-oss-120b shows a 10.68-percentage-point increase in post-outcome confirmation error under multi-estimate elicitation (worst-case estimate 10.04 points). The remaining ten retained effects have sub-threshold point estimates; non-rejection does not establish equivalence. Joint presentation lowers signed conjunction excess in four confirmatory configurations, but this comparison changes both constraint visibility and call structure. Flash-high combines two disjoint execution-window batches under an approved continuation protocol, preserving their identities and non-causal interpretation. Post-hoc candidate-spread associations across all six configurations remain in-sample and require independent predictive validation. The completed cohort provides no evidence for uniform debiasing by multi-estimate elicitation. Materials: https://github.com/asj252/llm-judgment-studies
• Abstract（参考訳）: 一つの応答で重み付けされた5つの推定を導くことは、常に数値判断を改善するか? 6つのフリーズ構成で、アンカー、アンカー、アンカー、アンカー、ベースレート、アソシエイト、ステータスクオ/デフォルトタスク間の直接的および複数の推定的エリケーションを比較した。 それぞれの構成は618個の開発ユニットと3,702個の形式単位に寄与し、6つの構成形式コホートは22,212個のユニットを含み、21個の欠落した結果を含んでいる。 5つの構成にまたがって45の事前登録された確認テストのうち、12は完全なケースを拒絶し、11は、予め特定された欠陥保護規則の後に方向確認を維持している。 gpt-oss-120bは、マルチエスメット・エリケーション(Worst-case estimated 10.04 points)の下で、アウトカム後の確認誤差が10.68ポイント増加することを示している。 残りの10の残留効果は、サブスレッショルドポイントの推定値を持ち、非退行は等価性を確立しない。 共同プレゼンテーションでは、4つの確認設定で符号付き伴奏過剰が低下するが、この比較は制約可視性と呼び出し構造の両方を変える。 Flash-highは、承認された継続プロトコルの下で2つの非結合実行ウィンドウバッチを組み合わせて、そのIDと非因果解釈を保存する。 6つの構成にまたがるポストホックな候補とスプレッドの関連は、インサンプルのままであり、独立した予測検証を必要とする。 完備したコホートは、多端的推論による一様偏りの証拠を示さない。 資料:https://github.com/asj252/llm-judgment-studies

関連論文リスト

• Measurement Validity and Representation Dynamics of Confidence Signals in Large Language Models [0.0]
  我々は,音声による信頼度,隠れ状態に対する線形探索,サンプル回答間の一致を比較した。 第一に、事前充填状態で訓練されたプローブは、サンプリングされた回答がより早く発見されるかどうかを予測します。 第二に、言語化された信頼は不安定である:少し異なるプロンプトテンプレートは、ほとんど相関しないスコアを得る。 第3に、予測エラーは誤解を招く: 単語の信頼度はベースレート近くでクラスタ化され、差別が不十分であるのに対して、サンプリング合意はECEが悪く、解像度が約2倍である。
  論文  参考訳（メタデータ） (2026-10-19T06:04:38Z)
• Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
  言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。 しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。 本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T16:19:49Z)
• Authority Bias in Language Models: Source Deference and User Agreement Are Not Interchangeable [1.0742675209112622]
  言語モデルは、ユーザが主張するものと一致しがちである。 オープンウェイトな5つのファミリーと3つのクローズドAPIのギャップを測定します。 ソースの推論とユーザ合意はモデル内での振る舞いの交換にはなりません。
  論文  参考訳（メタデータ） (2026-09-29T13:58:04Z)
• How Far Do Persona Effects Generalize in Language Models? [21.279374648591318]
  ペルソナは特定の種類の人々の答えを言語モデルに求める。 これらの効果から得られた関係が、新しい質問に対する反応を予測し、モデルやプロンプトで有用かどうかを検証する。
  論文  参考訳（メタデータ） (2026-09-26T16:26:03Z)
• Three Regimes of Context-Parametric Conflict: A Predictive Framework and Empirical Validation [0.0]
  大規模言語モデルが学習知識と矛盾する文書の相違にどのように対処するかを考察する。 本稿では,Regime 1 (単一ソース更新),Regime 2 (競合統合),Regime 3 (タスクに適した選択)という3つの登録フレームワークを提案する。 我々はClaude Sonnet 4.6、GPT-5.5、Gemini 2.5 Flash、Llama 4 Maverick、DeepSeek V3の3つの実験段階で9,970のAPIコールを使用してフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-05-12T06:00:48Z)
• Measuring Language Model Hallucinations Through Distributional Correctness [7.106986689736826]
  この問題を解決するために,新しい評価基準である分布補正スコア(DCS)を導入した。 DCSは、誤った回答における有害な過信と、棄権によって表される不確実性を区別し、解釈可能なデフォルト範囲でスコアを提供する。 DCSは、推測よりも真に不確実性を表現するモデルにインセンティブを与える、よりニュアンスで整列した評価パラダイムを提供する。
  論文  参考訳（メタデータ） (2025-10-05T17:50:42Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
  粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。 提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
  論文  参考訳（メタデータ） (2022-11-14T14:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。