論文の概要: Simple Actors and Deep Critics for Scalable Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.26659v1
- Date: Thu, 27 Aug 2026 06:14:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.256437
- Title: Simple Actors and Deep Critics for Scalable Reinforcement Learning
- Title（参考訳）: スケーラブル強化学習のためのシンプルなアクターと深い批判
- Abstract要約: オフライン強化学習の最近の進歩は、表現的生成的アクターによって引き起こされている。
本研究では,オフラインアクタにキャパシティを投資すべき場所を再考する。
LAC (Light Actor, Deep Critic) を提案する。
OGBenchでは、LACは最も高い拡散・流動整合基線と一致し、蒸留のない1段階蒸留法に匹敵する4倍の推論遅延を達成した。
- 参考スコア（独自算出の注目度）: 4.626261940793026
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent progress in offline reinforcement learning (RL) has been driven by expressive generative actors such as diffusion and flow-matching policies, which capture multimodal behavior in offline datasets. However, these actors require multiple denoising or integration steps per action and thus incur substantial overhead at every decision in deployment. In this work, we revisit where capacity should be invested in an offline actor--critic method. Since the critic is used only during training and is discarded at deployment while the actor runs at every decision step, allocating capacity to the critic rather than the actor is more favorable for inference-time efficiency. However, scaling MLP critics in offline RL is known to introduce several distinct instabilities that have, in practice, kept critics shallow. We identify three distinct failure modes that arise when critics are deepened in offline RL---optimization, bootstrap-noise amplification, and value-range drift---and address each with a corresponding ingredient: a residual MLP backbone, n-step bootstrap targets, and a categorical cross-entropy loss. Combining these ingredients with a lightweight deterministic actor, we propose LAC (Light Actor, deep Critic). On OGBench, LAC matches the strongest diffusion- and flow-matching baselines while achieving up to 4x lower inference latency, comparable to one-step distilled policies without distillation. Its critic recipe also transfers across actor parametrizations.
- Abstract（参考訳）: オフライン強化学習(RL)の最近の進歩は、オフラインデータセットにおけるマルチモーダルな振る舞いをキャプチャする拡散やフローマッチングポリシといった表現豊かな生成アクターによって推進されている。
しかしながら、これらのアクターはアクション毎に複数のdenoisingまたは統合ステップを必要とし、デプロイメントのすべての決定においてかなりのオーバーヘッドを発生させる。
本研究では,オフラインアクタにキャパシティを投資すべき場所を再考する。
批評家はトレーニング時にのみ使用され、各決定ステップでアクターが実行している間にデプロイ時に廃棄されるため、アクターよりもアクターにキャパシティを割り当てることは推論時間の効率に有利である。
しかし、オフラインRLにおけるMLP批判のスケーリングは、実際には批判が浅く保たれているいくつかの異なる不安定性を導入することが知られている。
最適化,ブートストラップ・ノイズ増幅,値範囲ドリフトの3つの障害モードを同定し,それぞれに残留MLPバックボーン,nステップブートストラップターゲット,カテゴリー横断エントロピー損失の3つの要素を対応付ける。
これらの材料を軽量な決定論的アクターと組み合わせて, LAC(Light Actor, Deep Critic)を提案する。
OGBenchでは、LACは最も高い拡散・流動整合基線と一致し、蒸留のない1段階蒸留法に匹敵する4倍の推論遅延を達成した。
批評家のレシピは、アクターのパラメトリゼーションにまたがる。
関連論文リスト
- Decoupling Policy Extraction for Offline Reinforcement Learning [18.247325284604553]
オフラインのRLメソッドは通常、アクターと批評家を共同で訓練する。
従来のオフラインRLパラダイムを再検討し、アクタートレーニングからポリシー改善を分離することを提案する。
具体的には、アクターが個別に学習した批評家と複数のアクター生成提案を並べ替えることで、行動分布をモデル化し、推論時にポリシー改善を行うように、アクターを訓練する。
論文 参考訳（メタデータ） (2026-08-21T09:26:53Z) - QPILOTS: Efficient Test-Time Q-Steering for Flow Policies [20.217020870532686]
QPILOTSは、元のポリシーを変更せずに、推論時にデノナイジングプロセスを操る方法である。
標準のオフライン-オンラインRLベンチマークでは、QPILOTSが最高の集計性能を達成し、50タスクで平均90%の成功率に達する。
論文 参考訳（メタデータ） (2026-06-11T18:22:03Z) - Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning [22.17044827069627]
安定なアクターによって生成される高価値なアクションに置き換える,プラグアンドプレイのトレーニングサンプル置換器を提案する。
実験の結果、PARはパフォーマンスを継続的に改善し、基礎的なTD3+BCと組み合わせることで最先端にアプローチすることがわかった。
論文 参考訳（メタデータ） (2026-02-07T08:44:27Z) - Q-learning with Adjoint Matching [58.78551025170267]
本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。
QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。
オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
論文 参考訳（メタデータ） (2026-01-20T18:45:34Z) - Actor-Critic without Actor [4.94481688445056]
Actor-Critic without Actor (ACA)はアクターネットワークを排除し、ノイズレベルの批評家の分野から直接アクションを生成する軽量なフレームワークである。
ACAは、標準的なアクター批判法と最先端拡散法の両方と比較して、より好ましい学習曲線と競争性能を達成する。
論文 参考訳（メタデータ） (2025-09-25T11:33:09Z) - B3C: A Minimalist Approach to Offline Multi-Agent Reinforcement Learning [2.9312156642007303]
オフライン強化学習(RL)において,政策評価中の未確認行動の選択による過大評価が大きな課題である
本稿では,批判クリッピング(B3C)を用いた行動クローン規則化を提案する。
B3Cは、様々なオフラインマルチエージェントベンチマークで最先端のアルゴリズムより優れている。
論文 参考訳（メタデータ） (2025-01-30T05:02:33Z) - Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-10-18T06:07:10Z) - Solving Continuous Control via Q-learning [54.05120662838286]
深いQ-ラーニングの簡単な修正は、アクター批判的手法による問題を大幅に軽減することを示します。
バンバン動作の離散化と値分解、協調マルチエージェント強化学習(MARL)としての単一エージェント制御のフレーミングにより、このシンプルな批判のみのアプローチは、最先端の連続アクター批判法の性能と一致する。
論文 参考訳（メタデータ） (2022-10-22T22:55:50Z) - Plan Better Amid Conservatism: Offline Multi-Agent Reinforcement
Learning with Actor Rectification [74.10976684469435]
オフライン強化学習(RL)アルゴリズムは、直接マルチエージェント設定に転送することができる。
本稿では,この重要な課題に対処するために,Actor Rectification (OMAR) を用いたオフラインマルチエージェント RL を提案する。
OMARはマルチエージェント連続制御ベンチマークにおける最先端性能と強いベースラインを著しく上回る。
論文 参考訳（メタデータ） (2021-11-22T13:27:42Z) - Continuous Doubly Constrained Batch Reinforcement Learning [93.23842221189658]
環境とのオンラインインタラクションではなく、固定されたオフラインデータセットのみを使用して効果的なポリシーを学ぶバッチRLのアルゴリズムを提案する。
バッチRLにおける制限されたデータは、トレーニングデータに不十分に表現された状態/動作の値推定に固有の不確実性をもたらす。
この分散を減らすための政策制約と、過度に楽観的な見積もりを妨げる価値制約という2つの簡単な罰則によってこの問題を軽減することを提案する。
論文 参考訳（メタデータ） (2021-02-18T08:54:14Z) - Online Meta-Critic Learning for Off-Policy Actor-Critic Methods [107.98781730288897]
Off-Policy Actor-Critic (Off-PAC)法は、様々な連続制御タスクで成功している。
本稿では,学習過程を観察し,アクターにさらなる損失を与える新しい,フレキシブルなメタクリティカルを導入する。
論文 参考訳（メタデータ） (2020-03-11T14:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。