論文の概要: Same Answer, Different Future: Dissociating Belief Content and Evidence Weight in Language Models
- arxiv url: http://arxiv.org/abs/2611.07913v2
- Date: Wed, 11 Nov 2026 14:19:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.852524
- Title: Same Answer, Different Future: Dissociating Belief Content and Evidence Weight in Language Models
- Title(参考訳): 言語モデルにおける信念の内容とエビデンス重みの解離
- Abstract要約: ベルヌーイ予想では、8から397Bパラメータの9つのオープンウェイトモデルに信念を設定し、同じ新しい観測でそれぞれの信念に従う。
これらのモデルは、その証拠なしで答えを持ち、再読まれたテキストからその重みを回復する、と我々は主張する。
9つのモデル64の観測は、記録として20から53、要約として9から151であり、64は8Bよりも397Bに近い。
- 参考スコア(独自算出の注目度): 34.07570032755647
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory summaries, prompts and steering vectors set a language model's beliefs and are judged by the prediction they produce. A prediction does not say how firmly it is held. We separate a belief's content, what it predicts now, from its weight, the number of new observations it is worth: for an ideal observer, the amount of evidence behind it. In Bernoulli inference we set beliefs in nine open-weight models of 8 to 397B parameters and follow each belief with the same new observations. We argue that these models hold an answer without its evidence and recover its weight from the text they re-read. Weight therefore follows the form of the evidence and the question asked more than its amount: matched on their current estimate, a record of observations and a summary of its counts usually move apart under the same new observations, in either direction. Scale does not close the gap. Across the nine models 64 observations are worth 20 to 53 as a record and 9 to 151 as a summary, no closer to 64 at 397B than at 8B. Where no text stands behind a belief there is little to re-read: a steering vector can install a record's answer, and sixteen observations undo it where a neutral passage leaves it in place. Where reasoning first writes the counts into the context the weight returns, and the same 64 observations are worth 58 to 67 in either form. A matched answer is not a matched belief, and methods that set beliefs should be judged by the futures they produce.
- Abstract(参考訳): メモリサマリー、プロンプト、ステアリングベクターは言語モデルの信念を設定し、それらが生成する予測によって判断される。
予測は、それがどの程度しっかりと保持されているかは述べていない。
我々は、信念の内容、それが現在予測しているもの、その重さ、それに値する新しい観測数、すなわち理想的な観察者にとって、その背後にある証拠の量とを分離する。
ベルヌーイ予想では、8から397Bパラメータの9つのオープンウェイトモデルに信念を設定し、同じ新しい観測でそれぞれの信念に従う。
これらのモデルは、その証拠なしで答えを持ち、再読まれたテキストからその重みを回復する、と我々は主張する。
したがって、ウェイトは証拠の形式に従い、その量以上に質問される:彼らの現在の見積もりと一致し、観測の記録とその数え上げの要約は、どちらの方向でも、通常同じ新しい観測の下で分割される。
スケールはギャップを埋めない。
9つのモデル64の観測は、記録として20から53、要約として9から151であり、64は8Bよりも397Bに近い。
ステアリングベクターは、レコードの回答をインストールでき、16の観察により、中立の通路がそこに残されている場所でそれを解除できる。
推論が最初にそのカウントを文脈に書き込むと、重みは戻り、同じ64の観測値はどちらの形でも58から67の価値がある。
一致した答えは一致した信念ではなく、信念を設定する方法は、それらが生み出す未来によって判断されるべきである。
関連論文リスト
- Not All Answers Are Contextually Persuadable: Inference Dynamics in Large Language Models under Contextual Influence [25.088376251296918]
推論力学を用いて文脈的影響を解析するための理論的枠組みを導入する。
推論力学は、文脈的アサーションの繰り返しにおいて、非有界なドリフトを示さないことを示す。
我々は、理論予測を実証的に検証し、理論と観測された推論行動の間に強い整合性を示す。
論文 参考訳(メタデータ) (2026-10-03T22:33:21Z) - A Unifying Perspective on Probabilities as Model Predictions [0.27689558531442177]
あらゆる確率はエンプレディション法の出力であると主張する。
客観的ともいわれるものでさえ、モデル依存であることを示す。
論文 参考訳(メタデータ) (2026-09-09T08:07:09Z) - Counterfactual Quotient Models: Learning What Actions Change, Not What the World Does [14.67340173071927]
強化学習モデルは一般的に、完全な将来の状態、観察、または特徴の占有率を予測する。
このモデルでは、アクション間で共有されるコンポーネントによってのみ異なる場合に、アクション条件付き未来を等価として扱う。
論文 参考訳(メタデータ) (2026-08-22T19:55:57Z) - BayesBench: Evaluating LLM Belief Trajectories Under Multi-Turn Evidence Accumulation [20.375742002723765]
大規模言語モデル(LLM)は通常、マルチターン会話にデプロイされる。
LLMの信念の更新は、マルチターン設定における合理的ベイズ論理の更新とどの程度密接に一致しているかを問う。
ベイズベンチ(BayesBench)は3つの複雑なタスクにまたがってこれを探索するシミュレーション環境である。
論文 参考訳(メタデータ) (2026-06-29T19:30:32Z) - Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs [13.891522069967507]
建設文法は統計的プリエンプション(英語版)を提案している: 従来の形式への露出は構造的に可能であるが、証明されていない代替手段を前提としている。
本稿では,大規模言語モデルにおいて,競合するエンレンチメント仮説から統計的プリエンプションを解離する計算手法を提案する。
論文 参考訳(メタデータ) (2026-05-21T21:06:43Z) - Counterfactual Realizability [52.85109506684737]
本稿では, 正規化可能性の定義, 分布からサンプルを抽出する能力を導入し, 任意の反事実分布が実現可能であるかどうかを判定する完全アルゴリズムを開発する。
本稿では、因果的公正さと因果的強化学習のモチベーション例を用いて、この新たな反ファクト的データ収集フレームワークの意義を説明する。
論文 参考訳(メタデータ) (2025-03-14T20:54:27Z) - Uncertain Evidence in Probabilistic Models and Stochastic Simulators [80.40110074847527]
我々は、不確実性を伴う観測を伴う確率論的モデルにおいて、ベイズ的推論を行うという問題について考察する。
我々は、不確実な証拠をどう解釈するかを探求し、潜伏変数の推論に関連する適切な解釈の重要性を拡大する。
我々は、不確実な証拠を説明するための具体的なガイドラインを考案し、特に一貫性に関する新しい洞察を提供する。
論文 参考訳(メタデータ) (2022-10-21T20:32:59Z) - Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。
そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
論文 参考訳(メタデータ) (2021-09-09T10:10:29Z) - Nested Counterfactual Identification from Arbitrary Surrogate
Experiments [95.48089725859298]
観測と実験の任意の組み合わせからネスト反事実の同定について検討した。
具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
論文 参考訳(メタデータ) (2021-07-07T12:51:04Z) - Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。
我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。
このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
論文 参考訳(メタデータ) (2020-10-15T16:39:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。