論文の概要: The Variance of Thought: Policy Variance, Critical Forks, and Local Credit Assignment
- arxiv url: http://arxiv.org/abs/2608.22467v1
- Date: Sun, 23 Aug 2026 15:46:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.976805
- Title: The Variance of Thought: Policy Variance, Critical Forks, and Local Credit Assignment
- Title（参考訳）: 思想の多様性 : 政策変数, 臨界フォーク, 地域クレジット割り当て
- Abstract要約: 政策分散はリターン分散の唯一の源であり、臨界フォークと呼ばれる状態において離散パルスに注入される。
ブートストラッピングは、生存確率の積を和に変換することによってモンテカルロの利点推定を除去する。
- 参考スコア（独自算出の注目度）: 2.6994604905555004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-horizon language-model tasks --- multi-step reasoning and tool-using agents alike --- are limited by credit assignment. We analyze it through the policy variance $σ_π^2(s)=\operatorname{Var}_{a\simπ}[Q_π(s,a)]$, which in a deterministic MDP is the sole source of return variance and is injected in discrete pulses at states we call critical forks. Three results follow. (i) Policy variance is a discovery budget: observing an action of advantage $c$ requires $Ω(c^2/σ_π^2(s))$ draws, a bound that is exact on the canonical two-point fork. (ii) Policy variance is bounded by the policy's Gini dispersion, $σ_π^2(s)\le 1-\|π(\cdot|s)\|_2^2$, a rollout-free necessary condition for criticality computable from logits alone. (iii) The remaining horizon sets the estimation cost: at a fork whose downstream success probability is $P$, the Monte Carlo advantage estimate has signal-to-noise ratio of order $\sqrt{P}$, so its sample cost scales as $1/P$ --- a cost that branched sampling shares. Bootstrapping removes it by converting a product of survival probabilities into a sum, provided the value representation is multiplicatively accurate, which argues for log-value parameterization.
- Abstract（参考訳）: 長期水平言語モデルタスク -- マルチステップ推論やツール使用エージェントなど -- は、クレジット代入によって制限される。
我々は、決定論的 MDP は戻り分散の唯一の源であり、臨界フォークと呼ばれる状態において離散パルスに注入される、ポリシー分散 $σ_π^2(s)=\operatorname{Var}_{a\simπ}[Q_π(s,a)]$ を通してそれを解析する。
3つの結果が続く。
(i)政策分散は発見予算であり、$c$の作用を観察するには$Ω(c^2/σ_π^2(s))$ drawsが必要である。
(二)政策分散は、ポリシーのジーニ分散、$σ_π^2(s)\le 1-\|π(\cdot|s)\|_2^2$ によって制限される。
3) 残りの地平線は, 下流の成功確率が$P$のフォークにおいて, モンテカルロの利得推定値が$$\sqrt{P}$の信号対雑音比を持つので, サンプルコストは1/P$の規模であり, サンプリング株を分岐するコストである。
ブートストラッピングは、値表現が乗法的に正確であるならば、生存確率の積を和に変換することでそれを除去する。
関連論文リスト
- Privacy Amplification Without Independence: How Far Negative Dependence Carries the Guarantees of Poisson Subsampling [3.6238624372073254]
我々は、$k=1$のランダムアロケーションに対して、レニ・ディファレンス基準に対する線形法則を証明した。
Poissonベースの計算が構造化された参加に相応しいままで、どこで失敗し、デプロイに何の代償がかかるか、というように、プライバシ会計の代用マップを提供します。
論文 参考訳（メタデータ） (2026-09-01T23:20:11Z) - Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳（メタデータ） (2026-04-12T20:49:33Z) - Adaptive stable distribution and Hurst exponent by method of moments moving estimator for nonstationary time series [0.49728186750345144]
我々は,パラメータを毎回別々に推定する移動推定器という,より非依存的なアプローチに焦点をあてる。
本稿では,Hurst指数にも影響を及ぼすα-Stable分布の応用例を示す。
論文 参考訳（メタデータ） (2025-05-20T08:36:49Z) - Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。
我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。
我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
論文 参考訳（メタデータ） (2024-11-20T02:46:15Z) - Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。
提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-25T16:38:53Z) - Multiple-policy Evaluation via Density Estimation [30.914344538340412]
本稿では,この問題に対して$mathrmCAESAR$というアルゴリズムを提案する。
低次かつ対数的な$mathrmCAESAR$は、$tildeOleft(fracH4epsilon2sum_h=1Hmax_kin[K]sum_s,afrac(d_hpik(s,a))2mu*_h(s,a)right)$である。
論文 参考訳（メタデータ） (2024-03-29T23:55:25Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z) - Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum
Minimization [52.25843977506935]
有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。
そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
論文 参考訳（メタデータ） (2022-11-03T14:41:46Z) - Horizon-Free and Variance-Dependent Reinforcement Learning for Latent
Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。
我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文 参考訳（メタデータ） (2022-10-20T21:32:01Z) - Stochastic Shortest Path: Minimax, Parameter-Free and Towards
Horizon-Free Regret [144.6358229217845]
エージェントが目標状態に到達する前に蓄積される期待コストを最小限に抑えるために,最短経路(ssp)設定で学習する問題について検討する。
我々は,経験的遷移を慎重に歪曲し,探索ボーナスで経験的コストを摂動する新しいモデルベースアルゴリズムEB-SSPを設計する。
私達はEB-SSPが$widetildeO(B_star sqrtS A K)$のミニマックスの後悔率を達成することを証明します。
論文 参考訳（メタデータ） (2021-04-22T17:20:48Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳（メタデータ） (2021-01-29T18:57:52Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。