論文の概要: On Reparameterizing the Score Function

• arxiv url: http://arxiv.org/abs/2610.24188v1
• Date: Fri, 16 Oct 2026 20:05:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:19:41.47247
• Title: On Reparameterizing the Score Function
• Title（参考訳）: スコア関数の再パラメータ化について
• Abstract要約: 自己回帰シーケンスモデルのポリシー勾配は、条件付き履歴を固定しながら各トークンのログ確率を区別する。 これは、以前の決定が後続の条件分布をどのように形成したかに関する情報を捨て、報酬が不足するとクレジット割り当てボトルネックが生じる。 スコア関数の凍結プレフィックスをパラメータ化あるいは緩和可能な履歴に置き換える、ヒストリー-Reパラメータ化(HR)ポリシー勾配を導入する。
• 参考スコア（独自算出の注目度）: 14.931537981159906
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Policy gradients for autoregressive sequence models differentiate each token's log-probability while holding the conditioning history fixed. This discards information about how earlier decisions shape later conditional distributions, creating a credit-assignment bottleneck when rewards are sparse. We introduce History-Reparameterized (HR) policy gradients, which replace the frozen prefix in the score function with a differentiable reparameterized or relaxed history, allowing gradients of downstream log-probabilities to propagate backward through the generated trajectory. The resulting history-pathwise term is generally biased when added directly, so we derive Optimal HR (OHR), a centered control-variate estimator with a closed-form coefficient that minimizes the trace of the gradient variance at the population level. The variance reduction is governed by temporal structure in the policy dynamics: random or weakly structured policies provide little benefit, while policies with learned sequential dependencies yield informative history-pathwise corrections. For discrete tokens, the choice of relaxation is crucial: embedding-level relaxation yields substantial variance reduction that grows with horizon, whereas straight-through Gumbel-Softmax yields essentially none in our diagnostics. We validate the method on a Gaussian linear Markov model, a sparse-reward T-maze with a recurrent policy, and an autoregressive Transformer model for small Traveling Salesman Problem (TSP) instances.
• Abstract（参考訳）: 自己回帰シーケンスモデルのポリシー勾配は、条件付き履歴を固定しながら各トークンのログ確率を区別する。 これは、以前の決定が後続の条件分布をどのように形成したかに関する情報を捨て、報酬が不足するとクレジット割り当てボトルネックが生じる。 スコア関数の凍結プレフィックスを、異なるパラメータ化あるいは緩和された履歴に置き換え、下流の対数確率の勾配を、生成された軌道を介して後方に伝播させることができるヒストリー・リパラメータ化(HR)ポリシー勾配を導入する。 結果として得られるヒストリ-パスワイズ項は、直接加えると一般にバイアスされるので、集団レベルでの勾配分散のトレースを最小限に抑える閉形式係数を持つ中心制御-変量推定器である最適HR(OHR)を導出する。 ランダムまたは弱構造化されたポリシーはほとんど利益を得られず、学習されたシーケンシャルな依存関係を持つポリシーは情報的履歴-パスワイズ補正をもたらす。 埋め込みレベルの緩和は地平線で成長する大きな分散還元をもたらすが、ストレートスルーのGumbel-Softmaxは基本的に診断では得られない。 提案手法は,ガウス線形マルコフモデル,繰り返しポリシー付きスパース・リワードT迷路,および小さなトラベリングセールスマン問題(TSP)インスタンスに対する自己回帰トランスフォーマモデルで検証する。

関連論文リスト

• AdaStep: Adaptive Step Credit Weighting for Agentic Reinforcement Learning [41.82249291285459]
  本稿では,各グループ由来の局所的優位性が軌道レベルの信号にどの程度強く依存するかを制御する適応ステップ重み付け手法を提案する。 AdaStepは軽量なスカラー計算しか必要とせず、批判もロールアウトも追加のモデル推論も不要である。 ALFWorld、WebShop、ScienceWorldの3つのモデルバックボーンによる実験では、低い計算コストでベースラインよりも一貫した改善が見られた。
  論文  参考訳（メタデータ） (2026-10-02T12:38:53Z)
• Stein-Rule Shrinkage for Stochastic Gradient Estimation in High Dimensions [0.0]
  勾配法は大規模学習の中心であるが、古典的決定理論が高次元において許容できないことを示す非バイアス推定器としてミニバッチ勾配を扱う。 本稿では, 歴史運動量から導かれる安定な推定器に対して, ミニバッチ勾配を適応的に調整する勾配推定器を構築する。 CIFAR10とCIFAR100の実験的評価は、大型バッチ方式におけるAdamよりも一貫した改善を示した。
  論文  参考訳（メタデータ） (2026-02-02T08:01:13Z)
• Closed-Form Last Layer Optimization [72.49151473937319]
  正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。 これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
  論文  参考訳（メタデータ） (2025-10-06T09:14:39Z)
• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• Generalized Gumbel-Softmax Gradient Estimator for Various Discrete Random Variables [16.643346012854156]
  ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。 本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
  論文  参考訳（メタデータ） (2020-03-04T01:13:15Z)
• Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
  本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。 記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
  論文  参考訳（メタデータ） (2020-02-21T19:20:57Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。