論文の概要: Fork Where the Model Changes Its Mind: Belief-Shift Branching for Tree-Structured Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.11061v1
• Date: Thu, 10 Sep 2026 04:06:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.208831
• Title: Fork Where the Model Changes Its Mind: Belief-Shift Branching for Tree-Structured Reinforcement Learning
• Title（参考訳）: モデルが心を変えるフォーク:木構造強化学習のための信念シフト分岐
• Abstract要約: 分岐配置をチェーンの値曲線のエンフスの位置として定式化し、期待される結果が変わる。 ステップレベルの監視を必要としない3つのインスタンス化は、ブラックボックスプローブ、ログレンズの深さプロファイル、学習されたアクティベーション方向というアクセスレベルにまたがる。
• 参考スコア（独自算出の注目度）: 62.24941741019998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tree-structured rollouts give critic-free reinforcement learning with verifiable rewards (RLVR) step-level credit: fork a chain at an intermediate point, and sibling outcome differences estimate step value. Each fork adds sampling cost, so realistic budgets typically allow only a few forks per chain. A fork placed where the outcome is already largely settled yields siblings that mostly agree and provide almost no credit signal; hence, for a given tree size, where forks are placed largely determines how much step-level RL can gain. Most existing mainstream methods place forks by structure, such as fixed lengths, midpoints, and delimiters, or by next-token entropy. We formalize fork placement as locating the \emph{pivots} of the chain's value curve, where the expected outcome turns. We propose \emph{belief-shift branching}: read the model's answer belief at candidate boundaries and fork just before the step where consecutive beliefs diverge most. Three instantiations, none needing step-level supervision, span access levels: a black-box probe, a logit-lens depth profile, and a learned activation direction, which is fit offline and therefore used only in the validation before RL training. The signal only \emph{places} forks, and the probe costs about $1\%$ of step compute on mathematics and under $5\%$ on code when it runs inside the rollout engine. In that validation, against Monte-Carlo value curves, a belief-shift signal ranks first in each of the eight model$\times$benchmark panels, ahead of entropy, structural, and LLM-judge baselines. In RL across three model families and two domains, belief-shift forking leads every mathematics aggregate, on OLMo-3-7B by $+2.6$ aggregate and $+2.9$ on AIME 2026 over the strongest baseline, and sweeps every OLMo code column, by $+6.5$ on LiveCodeBench-medium.
• Abstract（参考訳）: 木構造ロールアウトは、検証可能な報酬(RLVR)ステップレベルクレジット(中間点にチェーンをフォークし、結果差を推定するステップ値)で批判のない強化学習を提供する。 各フォークにはサンプリングコストが加算されるため、現実的な予算は通常、1チェーンあたりのフォークはわずかに限られる。 結果がすでに落ち着いた状態にあるフォークは、ほとんど同意し、ほとんどクレジット信号を提供しない兄弟姉妹を産み出すため、与えられた木の大きさに対して、フォークが配置された場合、ステップレベルのRLがどれだけ得られるかが決定される。 既存の主流手法の多くは、固定長、中点、デリミタなどの構造、または次のトーケンエントロピーによってフォークを配置する。 分岐配置をチェーンの値曲線の \emph{pivots} の位置として定式化する。 連続的な信念が最も分散するステップの直前に、候補境界とフォークでモデルの解答信念を読み取る。 ステップレベルの監視を必要としない3つのインスタンスは、ブラックボックスプローブ、ロジットレンズ深度プロファイル、学習されたアクティベーション方向の3つのアクセスレベルにまたがる。 信号はemph{places}のフォークのみであり、このプローブはロールアウトエンジン内を走らせると、約1\%のステップ計算と5\%以下のコードで処理される。 この検証では、モンテカルロの値曲線に対して、8つのモデル$\times$benchmarkパネルのそれぞれに、エントロピー、構造、LLM-judgeベースラインよりも先に、信念シフト信号がランク付けされる。 3つのモデルファミリと2つのドメインにわたるRLでは、信念シフトフォーキングはOLMo-3-7B上の全ての数学集約を$+2.6$、AIME 2026上で$+2.9$で導き、すべてのOLMoコード列を$+6.5$のLiveCodeBench-mediumで掃除する。

関連論文リスト

• Scalable Quantum Machine Learning: Trainability, Expressivity and Efficiency [0.5076419064097732]
  最寄りのハードウェアに対する$k$粒子フェルミオンアーキテクチャを提案する。 レンガの壁は動的リー代数 $mathfraku(n)$ を持ち、Givens 回転を介して$U(n)$ を直接パラメトリズする。 同様の硬度保証は、勾配ごとに8klog n$の評価で達成し、同じ係数が3n/(8k)$還元である。
  論文  参考訳（メタデータ） (2026-07-27T05:23:32Z)
• Directional Curvature from Armijo Backtracking: A Low-Cost Sharpness Probe and a Calibration-Free Learning-Rate Safeguard for Adam [0.16283634001181238]
  単一のArmijoバックトラックラインサーチが、この情報を数回のフォワードパスのコストですでに持っているのを観察する。 初期化時に一度使うと、この測定値が学習率の上限となり、Adamはあまりに大きな初期学習率に頑健になる。
  論文  参考訳（メタデータ） (2026-07-04T19:49:01Z)
• Dead-Direction Signatures: A Cheap Spectral Reading of Singular Complexity [5.67642958049511]
  特異学習理論は、損失特異点の幾何学を通して深いネットワークの複雑さを特徴づける。 単体構造をもつ安価でクローズドなスペクトル読影器であるDeadDirection Signatures (DDS)を紹介する。 それぞれが選択された層でネットワークの活性化行列またはサンプル単位のフィッシャーグラムを読み、後鎖スペクトル線型代数を置き換える。
  論文  参考訳（メタデータ） (2026-06-19T06:49:09Z)
• Read the Trace, Steer the Path: Trajectory-Aware Reinforcement Learning for Diffusion Language Models [26.87342465042021]
  本稿では,dLLM-RLアルゴリズムであるCAPR(Cached-Amortized Path Refinement)を導入する。 ロールアウトのコストは、平らなロールアウトの約0.75倍、木のロールアウトの約0.6倍に削減される。 4x4 Sudoku、Countdown、GSM8K、Math500の合計で、最強の木構造ベースラインとステップ毎の計算の3分の1以下で一致している。
  論文  参考訳（メタデータ） (2026-06-03T03:22:54Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
  ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。 adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
  論文  参考訳（メタデータ） (2026-03-30T20:10:22Z)
• Divine Benevolence is an $x^2$: GLUs scale asymptotically faster than MLPs [51.56484100374058]
  スケーリング法則は、基底解析から理解することができる。 現在、GLUの変種がフロンティアのLLMを支配しており、同様の外積アーキテクチャがランキングモデルで一般的である。 GLUは2次関数形式を持ち、近似の2次順序を示すのに十分であることを示す。 これにより、アーキテクチャ設計が第一原理の数値理論から大きなモデルにおける優れたスケーリングを解き放つ可能性が開ける。
  論文  参考訳（メタデータ） (2026-02-16T06:19:58Z)
• Ehrenfeucht-Haussler Rank and Chain of Thought [51.33559894954108]
  本稿では、よく知られたトランスフォーマーアーキテクチャを基盤とした、ランクの新たな特徴付けについて述べる。 関数 $f$ のランクは、単一層変換器が要求する思考ステップの EmphChain の最小値に対応していることを示す。 また、マルチヘッド単一層トランスをキャプチャするマルチヘッドランクの概念を導入し、有界なマルチヘッドランクを持つ関数クラスのPAC学習性の解析を行う。
  論文  参考訳（メタデータ） (2025-01-22T16:30:58Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Minimax-Optimal Multi-Agent RL in Zero-Sum Markov Games With a Generative Model [50.38446482252857]
  2人プレイのゼロサムマルコフゲームは多エージェント強化学習においておそらく最も基本的な設定である。 我々は,$$ widetildeObiggを用いて,$varepsilon$-approximate Markov NEポリシーを学習する学習アルゴリズムを開発した。 我々は、分散型量の役割を明確にするFTRLに対する洗練された後悔境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T17:24:55Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• A Theoretical Understanding of Gradient Bias in Meta-Reinforcement Learning [16.824515577815696]
  グラディエントベースメタRL(GMRL)は、2段階の最適化手順を維持する手法である。 GMRLで採用されている既存のメタグラディエント推定器は、実際にテキストバイアスを受けていることを示す。 我々は,刑法外学習や低バイアス推定器などの他の手法が一般のGMRLアルゴリズムの勾配バイアスの解消にどのように役立つかを示すため,Iterated Prisoner's Dilemma と Atari のゲームで実験を行った。
  論文  参考訳（メタデータ） (2021-12-31T11:56:40Z)
• Nearly Horizon-Free Offline Reinforcement Learning [97.36751930393245]
  S$状態、$A$アクション、計画的地平$H$で、エピソードな時間同質なMarkov決定プロセスに関するオフライン強化学習を再考する。 経験的MDPを用いた評価と計画のための,約$H$自由なサンプル複雑性境界の最初の集合を得る。
  論文  参考訳（メタデータ） (2021-03-25T18:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。