論文の概要: Lifted Bellman Linear Programming for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.24489v2
• Date: Fri, 25 Sep 2026 09:06:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.029039
• Title: Lifted Bellman Linear Programming for Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習のためのリフテッドベルマン線形計画法
• Abstract要約: 指数移動平均(EMA)更新対象ネットワークによって安定化されたブートストラップ値ターゲットに対する回帰損失を最小限に抑えることで、批評家を訓練する。 代わりに、不等式制約により、批判者にサンプル内ベルマンの最適性を課す。 OGBenchでは、ALBUMはガウスポリシーによる単一批評家を使用し、FQLの平均的なパフォーマンスと一致し、最近のアクションチャンキング手法に匹敵する。
• 参考スコア（独自算出の注目度）: 7.231076917059206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline reinforcement learning (RL) typically trains a critic by minimizing a regression loss against bootstrapped value targets stabilized by target networks with exponential moving average (EMA) updates. Multi-step targets incorporate behavior-policy actions and therefore require off-policy correction. We instead impose in-sample Bellman optimality on the critic through inequality constraints. We formulate the Lifted Bellman Linear Program (LBLP), which lifts the linear programming characterization of Bellman optimality to the joint $(Q,V)$ space so that every constraint involves only state-action pairs in the dataset. Its unique minimizer is the in-sample optimal pair, and constraints along $K$-step segments of dataset trajectories leave this minimizer unchanged for any rollout policy and horizon. Under deterministic dynamics, this minimizer lies between the best dataset return and the optimal value. Relaxing the constraints into hinge penalties recovers the same solution above a finite penalty coefficient in the tabular case. Approximate Lifted Bellman Unconstrained Minimization (ALBUM) implements this relaxation with neural networks and detaches the $K$-step rollout targets by stop gradient. Its objective contains no squared regression onto bootstrapped targets, so it can be trained without target networks or EMA updates. Under deterministic dynamics, the LBLP solution is a stationary point of the detached update under a coefficient condition independent of $γ$ and $K$, and the inequality constraints allow discounted returns along dataset trajectories to serve as lower bounds without off-policy correction or action chunking. On OGBench, ALBUM uses a single critic with a Gaussian policy, matches the average performance of FQL, and is comparable to recent action-chunking methods, while using the fewest parameters and the least peak GPU memory among all compared methods.
• Abstract（参考訳）: オフライン強化学習(RL)は一般的に、指数移動平均(EMA)更新によって安定化されたターゲットネットワークによって安定化されたブートストラップされた値ターゲットに対する回帰損失を最小限に抑え、批判を訓練する。 多段階の標的は行動政治の行動を取り込んでおり、それゆえに政治的でない修正が必要である。 代わりに、不等式制約により、批判者にサンプル内ベルマンの最適性を課す。 我々は、LBLP(Lifted Bellman Linear Program)を定式化し、ベルマン最適性の線形プログラミング特性を$(Q,V)$空間に引き上げ、全ての制約がデータセット内の状態-作用ペアのみを含むようにした。 そのユニークな最小化器は、サンプル内の最適ペアであり、データセットトラジェクトリの$K$ステップセグメントに沿った制約は、この最小化器をロールアウトポリシーと水平線で変更しない。 決定論的ダイナミクスの下では、この最小化は最適なデータセットの戻り値と最適な値の間にあります。 制限をヒンジペナルティに緩和することは、表の場合の有限ペナルティ係数を超える同じ解を回復する。 Approximate Lifted Bellman Unconstrained Minimization (ALBUM)は、ニューラルネットワークによるこの緩和を実装し、停止勾配によって$K$ステップのロールアウトターゲットを分離する。 その目的は、ブートストラップされたターゲットに対する2乗回帰を含まないため、ターゲットネットワークやEMA更新なしでトレーニングできる。 決定論的力学の下では、LBLPソリューションは、$γ$と$K$とは無関係な係数条件の下で、切り離された更新の定常点であり、不等式制約は、非政治的な修正やアクションチャンキングなしに、データセットの軌跡に沿って割引されたリターンを下限として機能することを許す。 OGBenchでは、ALBUMはガウスポリシーによる1つの批判を使い、FQLの平均的なパフォーマンスと一致し、最近のアクションチャンキングメソッドに匹敵する。

関連論文リスト

• Risk-Sensitive Reinforcement Learning with Smoothed Quantile Objectives [2.153824429735596]
  モデルに基づく楽観的学習アルゴリズムを開発し、遷移カーネルの信頼セットと低バッファの量子化基準を用いて計画する。 チューリング時間短縮の下で, 正確な点量子化評価と, 正確な低バッファ化量子化評価がPPハードであることを証明する。
  論文  参考訳（メタデータ） (2026-08-23T05:41:32Z)
• Learning Not to Optimize: Physics-Informed Action-Space Reshaping for Intent-Based Network Control [50.46501177871741]
  LNOQRD は小物候補を75.9% で削減し、90.8% でニアオラクルのカバレッジを維持している。 実験の結果、LNOQRDは実用性と意図の満足度が最も高く、かつ、法律違反が最低で、世代後レイテンシが低いことがわかった。
  論文  参考訳（メタデータ） (2026-08-02T00:27:01Z)
• Direct Bethe Free Energy Minimization for Bayesian Neural Network [0.0]
  我々は,変分下界を最大化するのではなく,Bethe自由エネルギーを直接最小化してベイズニューラルネットワークを訓練することを提案する。 木構造因子グラフ上では、Bethe自由エネルギーは正確であり、決定論的層は目的から外れ、標準のバックプロパゲーションによって訓練される。 すべての変種は、アンサンブルやサンプリングベースの手法とは対照的に、MAP等価な推論コストで閉形式予測を許容する。
  論文  参考訳（メタデータ） (2026-05-08T20:12:48Z)
• Stability and Generalization for Bellman Residuals [8.250374560598493]
  ベルマン残留最小化(BRM)はオフライン強化学習の魅力的な治療法として浮上している。 本稿では,SGDAが近傍のデータセット上で実行され,O(1/n)平均引数-安定性境界が得られる,単一のリアプノフポテンシャルを紹介する。 その結果、標準のニューラルネットワークパラメータ化とミニバッチSGDが得られた。
  論文  参考訳（メタデータ） (2025-08-26T07:15:36Z)
• Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning [55.33984461046492]
  現在、政策に基づく手法が大規模言語モデル(LLM)推論のための強化学習パイプラインを支配している。 本稿では,このアイデアを LLM に自然に適応させるアルゴリズムである Trajectory Bellman Residual Minimization (TBRM) を紹介する。 我々は、軌道の軌道変更-測度分析の改善により、任意のオフ政治から、最適に近いKL正規化政策への収束を証明した。
  論文  参考訳（メタデータ） (2025-05-21T09:41:53Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Constrained Linear Thompson Sampling [39.724313550777715]
  Constrained Linear Thompson Sampling (COLTS)は、摂動線形プログラムを解くことでアクションを選択するサンプリングベースのフレームワークである。 S-COLTSはゼロリスクと$widetildeO(sqrtd3 T)を許容するが、R-COLTSは$widetildeO(sqrtd3 T)を許容する。
  論文  参考訳（メタデータ） (2025-03-03T20:44:58Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• On Instance-Dependent Bounds for Offline Reinforcement Learning with Linear Function Approximation [80.86358123230757]
  本稿では,Bootstrapped and Constrained Pessimistic Value Iteration (BCP-VI) というアルゴリズムを提案する。 部分的なデータカバレッジの仮定の下で、BCP-VI は最適な Q-値関数に正のギャップがあるときに、オフライン RL に対して $tildemathcalO(frac1K)$ の高速レートを得る。 これらは、アダプティブデータからの線形関数近似を持つオフラインRLに対してそれぞれ、最初の$tildemathcalO(frac1K)$boundと絶対零部分最適境界である。
  論文  参考訳（メタデータ） (2022-11-23T18:50:44Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。