論文の概要: Hearsay or Fact? How Framing and Elicitation Shape LLM Probability Updates

• arxiv url: http://arxiv.org/abs/2610.27745v1
• Date: Tue, 20 Oct 2026 07:05:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.693062
• Title: Hearsay or Fact? How Framing and Elicitation Shape LLM Probability Updates
• Title（参考訳）: 聴力とFact? LLMのフラーミングとエミュレーションはどのようにして更新されるか
• Abstract要約: ひとつの新しい情報に対応するために,大規模な言語モデルがどのように動いているかをテストする。 我々は、1つの強化器と1つの弱みを持つSNLIから$$-SNLIの前提合成項目をペアリングし、別の呼び出しで前と後を付与する。 更新が記載されている("Here is other something you learn")か、あるいは報告されている("Someone said that")か、モデルが1つの確率または5つの重み付けされた見積もりを与えるか、などによって異なります。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used as judgment assistants and as stand-in participants in psychology experiments, yet little is known about how much their probability estimates move in response to a single new piece of information. We pair premise-hypothesis items from $δ$-SNLI with one strengthener and one weakener each, elicit the prior and the posteriors in separate calls, and measure the directional movement s: the mean posterior change signed by the annotated direction, so that the prior cancels out. We vary whether the update is stated ("Here is something else you learned") or reported ("Someone said that"), and whether the model gives one probability or five weighted estimates. We test seven configurations: two local models (Qwen3-8B, OLMo-2-7B; 240 pairs) and five configurations run through agent command-line harnesses (120 pairs), with hypotheses and analysis rules fixed before the formal runs (not publicly registered). Under stated, direct elicitation all seven move in the annotated direction (s = 18-28 percentage points). Reporting lowers s in all seven point estimates (significantly in six, by 2-5 points) and raises the share of reverse movements in all seven: the effect is consistent but small. Five weighted estimates lower the share of responses at $\leq$5% or $\geq$95% in all seven, but in the two local models they also reduce s by 43% and 68%, whereas in the harnessed configurations the point estimates of the change lie between -3.7 and +0.5 points. An elicitation format that reduces extreme values thus need not preserve sensitivity to evidence; the two should be tested separately. Because $δ$-NLI annotates only direction, we make no claim about how large an update should be. Code, data and the frozen plan: https://github.com/asj252/llm-judgment-studies
• Abstract（参考訳）: 大規模言語モデル(LLM)は、心理学実験において、判断アシスタントとして、またスタンドイン参加者として、ますます使われているが、その確率が1つの新しい情報に反応してどれだけ動くかは、ほとんど分かっていない。 我々は、$δ$-SNLIと1つの強化器と1つの弱体化器とを組み合わせ、前と後を別々の呼び出しで引き起こし、方向移動sを測定する。 更新が記載されている("Here is other something you learn")か、あるいは報告されている("Someone said that")か、モデルが1つの確率または5つの重み付けされた見積もりを与えるか、などによって異なります。 2つのローカルモデル(Qwen3-8B, OLMo-2-7B, 240ペア)と5つの構成がエージェントコマンドラインハーネス(120ペア)を介して実行され、仮説と分析ルールが公式実行前に固定される(公開されていない)。 直帰納法は、注釈付き方向に7つの移動(s = 18-28 パーセンテージポイント)を行う。 報告は7点評価でsを低くし(顕著に6点で2-5点)、すべての7点で逆運動のシェアを上昇させる: 効果は一貫性はあるが小さい。 5つの重み付けされた見積もりは、7つすべてで$\leq$5%または$\geq$95%でレスポンスのシェアを下げるが、2つのローカルモデルではsを43%と68%削減する。 極端な値を減らすエリケーションフォーマットは、証拠に対する感受性を維持する必要はない。 δ$-NLIは方向のみをアノテートするので、更新の規模については主張しません。 コード、データ、凍結計画:https://github.com/asj252/llm-judgment-studies

関連論文リスト

• Evaluating Escalation Signals for LLM Routing: Targets, Controls, and Five Ways to Fool Yourself [1.43494686131174]
  セマンティックエントロピーは,小モデルの誤りを確実に識別し,ランダムエスカレーションよりも経路精度を向上させることを示す。 また、AUROC 0.908から確率レベル0.518までの崩壊を正確に予測することで、新しいデータセットで機能するかどうかの予測方法も示しています。
  論文  参考訳（メタデータ） (2026-10-05T20:22:34Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
  10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。 平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
  論文  参考訳（メタデータ） (2026-05-25T15:57:11Z)
• The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
  大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。 これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
  論文  参考訳（メタデータ） (2026-05-09T22:27:31Z)
• When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors [66.18091962164219]
  既存のメトリクスは、タスクの成功に必要な義務的な振る舞いと、モデルの自律的な嗜好を反映した命令的でないパターンを区別することができない。 言語アライメントのための textbfResponse Pattern similarity (RPS) と、有向グラフとしてモデル化されたツール使用習慣のための textbfAction Graph similarity (AGS) である。
  論文  参考訳（メタデータ） (2026-04-23T03:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。