論文の概要: Erased, Rerouted, or Rescaled? Post-Training and the Causal Quotient of a Language Model's Belief State

• arxiv url: http://arxiv.org/abs/2610.05292v1
• Date: Sun, 04 Oct 2026 15:11:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 21:58:44.34875
• Title: Erased, Rerouted, or Rescaled? Post-Training and the Causal Quotient of a Language Model's Belief State
• Title（参考訳）: 廃語, 改語, 再スケール? : 学習後の言語モデルが信じる状態の因果関係と因果関係
• Abstract要約: 事前訓練によってベイズ的信念状態が回復するモデルで運命を特定できる。 隠された状態の粗い関数のみを読み取る報酬は、正確に報酬-無効のカーネルを定義する。 制御された世界では、ポストトレーニングは主に報酬-無効の情報を削除または再スケールし、デオード可能なままにしておく。
• 参考スコア（独自算出の注目度）: 34.07570032755647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What happens to information a pretrained model already encodes when post-training no longer rewards using it? The common language of representation compression conflates three fates: information may be erased, rerouted away from the decision while still represented, or rescaled to occupy less variance while still represented and used. We make these fates identifiable in models whose pretraining recovers Bayesian belief states. A reward that reads only a coarse function of the hidden state defines an exact reward-null kernel. The kernel lets us separately measure whether the information remains recoverable, whether decisions causally depend on it, and how much activation variance it occupies. Theory says what is protected: KL-anchored reinforcement learning preserves the reference policy's log-odds among equally rewarded outputs, supervised and unanchored objectives carry no such constraint, and spectral compression implies neither erasure nor loss of use. In controlled worlds, post-training mostly reroutes or rescales reward-null information and leaves it decodable. Without an anchor decisions can stop using it although the representation survives, and with one they keep using it. Erasure appears only under prolonged weight decay, for distinctions that neither reward nor next-token prediction can see. Open language models show the same dissociation: in-context belief geometry stays decodable under late-layer spectral compression, and within-class behavior depends on the anchor. Post-training thus selects a causal quotient of the pretrained belief state: the reward defines decision-equivalence, the anchor and the state update protect part of what it ignores, and optimization decides whether the rest is erased, rerouted, or rescaled.
• Abstract（参考訳）: 事前トレーニングされたモデルが、トレーニング後の報酬がもはや使われなくなったときに、情報には何が起こるのか? 表現圧縮の共通言語は、3つの運命を膨らませる: 情報はまだ表現されている間、情報を消去したり、決定から取り除いたり、あるいは、表現され、使用されている間、ばらつきを少なくするために再スケールしたりすることができる。 事前訓練によってベイズ的信念状態が回復するモデルでこれらの運命を特定できるようにする。 隠された状態の粗い関数のみを読み取る報酬は、正確に報酬-無効のカーネルを定義する。 カーネルは、情報が回復可能かどうか、決定が慎重に依存しているか、どれだけのアクティベーションのばらつきがあるか、を別々に測定できます。 KL-anchored reinforcement learning(英語版)は、同等の報酬を受けた出力のうち参照ポリシーの対数を保持し、監督的および未承認の目的はそのような制約を伴わず、スペクトル圧縮は、消去も使用の損失も含まないことを意味する。 制御された世界では、ポストトレーニングは主に報酬-無効の情報を削除または再スケールし、デオード可能なままにしておく。 アンカーの決定なしでは、表現が存続しているにもかかわらず、使用をやめることができ、それを使い続けることができる。 減光は長寿命の減量の下でのみ現れるが、報酬も次回の予測も見ることができない区別がある。 オープン言語モデルは、同じ解離を示す: 文脈内信念幾何学は、遅延層スペクトル圧縮の下では分解可能であり、クラス内挙動はアンカーに依存する。 報酬は決定等価性を定義し、アンカーと状態更新は無視するものの一部を保護し、残りが消去されるか、削除されるか、または再スケールされるかを最適化する。

関連論文リスト

• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Compute Globally, Materialize Locally: The Memory Contract of Sparse Event-KV [6.096767363900901]
  推定とエピソード記憶のスキームは、生成した観測結果が消滅した後も、保持された事象が情報的であるという前提に留まっている。 我々は、提供されたものから、それ以外は同一のエージェント履歴にまたがる以前の観察を省略することによって、それをテストする。 意図的に表現された回答なしのイベントは、価値を指定することなく、Qwen3-8Bでドナーアラインリカバリを6%から51%に引き上げる。
  論文  参考訳（メタデータ） (2026-07-26T14:37:53Z)
• When Does Reward Teach State? A Hidden-Automaton Instrument and the Group-Language Boundary [0.0]
  最適なリターンを知ることは自由である。 すべてのステップで正確な潜伏状態を知ることは無料である。 報酬は国家が学んだ証拠ではない。
  論文  参考訳（メタデータ） (2026-07-11T21:33:32Z)
• State commitment learning: training language models to distinguish computation from memory [2.4206666575244036]
  推論言語モデルは、計算に使用されるトークンと永続状態を構成するトークンを区別しない。 我々は,同じ接頭辞の下で,隠された思考を保持する経路と,それらを消去する経路の両方を評価できるCERL(Counterfactual Erasure RL)を提案する。 CERLは、隠れた思考に対する回答依存を精度を犠牲にすることなく大幅に低減し、常に正しさのみのRLと長文のSFTベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-05-22T17:05:31Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• The Illusion of Forgetting: Attack Unlearned Diffusion via Initial Latent Variable Optimization [51.835894707552946]
  非学習型防衛は拡散モデル(DM)からNot-Safe-For-Work概念を浄化すると主張している 本研究では,未学習が言語記号と基礎知識のマッピングを部分的に破壊し,休眠記憶として残り続けることを示す。 IVOは、壊れたマッピングを再構築することで、これらの休眠記憶を再活性化する簡潔で強力な攻撃フレームワークである。
  論文  参考訳（メタデータ） (2026-01-30T02:39:51Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance [90.57708419344007]
  新しい概念を学ぶ際に, 概念空間を明示的に規制するために, ** 連続保存損失** を利用するテクニックである **ClassDiffusion** を提示する。 このアプローチは単純ではあるが、ターゲット概念の微調整過程における意味的ドリフトを効果的に防止する。
  論文  参考訳（メタデータ） (2024-05-27T17:50:10Z)
• SINCERE: Supervised Information Noise-Contrastive Estimation REvisited [5.004880836963827]
  これまでの研究では、InfoNCEを拡張して利用可能なクラスラベルから学ぶために、教師付きコントラスト(SupCon)損失が示唆されていた。 本稿では,InfoNCE の教師付き拡張として Supervised InfoNCE Revisited (SINCERE) 損失を提案する。 実験により、SINCEREは、異なるクラスから埋め込みを分離し、転送学習の分類精度を向上させることが示されている。
  論文  参考訳（メタデータ） (2023-09-25T16:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。