論文の概要: On Computation and Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2602.05999v1
• Date: Thu, 05 Feb 2026 18:45:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.132975
• Title: On Computation and Reinforcement Learning
• Title（参考訳）: 計算と強化学習について
• Authors: Raj Ghugare, Michał Bortkiewicz, Alicja Ziarko, Benjamin Eysenbach,
• Abstract要約: より計算量の多いポリシーは問題を解くことができ、より長期のタスクに一般化できることを示す。 可変量の計算を使用できる最小限のアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 27.084991943054657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How does the amount of compute available to a reinforcement learning (RL) policy affect its learning? Can policies using a fixed amount of parameters, still benefit from additional compute? The standard RL framework does not provide a language to answer these questions formally. Empirically, deep RL policies are often parameterized as neural networks with static architectures, conflating the amount of compute and the number of parameters. In this paper, we formalize compute bounded policies and prove that policies which use more compute can solve problems and generalize to longer-horizon tasks that are outside the scope of policies with less compute. Building on prior work in algorithmic learning and model-free planning, we propose a minimal architecture that can use a variable amount of compute. Our experiments complement our theory. On a set 31 different tasks spanning online and offline RL, we show that $(1)$ this architecture achieves stronger performance simply by using more compute, and $(2)$ stronger generalization on longer-horizon test tasks compared to standard feedforward networks or deep residual network using up to 5 times more parameters.
• Abstract（参考訳）: 強化学習(RL)ポリシーで利用可能な計算量は、その学習にどのように影響しますか? パラメータの固定値を使用するポリシは,依然として追加計算のメリットがあるのでしょうか? 標準のRLフレームワークは、これらの質問に答える言語を提供していません。 経験的に、深いRLポリシーは、しばしば静的アーキテクチャを持つニューラルネットワークとしてパラメータ化され、計算量とパラメータの数を混同する。 本稿では,計算バウンドポリシを形式化し,より計算量の多いポリシが問題を解き,より少ない計算でポリシーの範囲外にある長期タスクに一般化できることを証明する。 アルゴリズム学習とモデルフリー計画における先行研究に基づいて、可変量の計算を使用できる最小限のアーキテクチャを提案する。 我々の実験は我々の理論を補完する。 オンラインとオフラインのRLにまたがる31の異なるタスクに対して、(1)$ このアーキテクチャは計算量を増やすだけでより強力なパフォーマンスを実現し、(2)$$は標準フィードフォワードネットワークや最大5倍のパラメータを用いたディープ残差ネットワークと比較して、より水平なテストタスクのより強い一般化を実現する。

関連論文リスト

• TD-M(PC)$^2$: Improving Temporal Difference MPC Through Policy Constraint [11.347808936693152]
  モデルベースの強化学習アルゴリズムは、モデルベースの計画と学習された価値/政治を組み合わせる。 バリューラーニングに標準のSACスタイルのポリシーイテレーションに依存する既存の手法は、しばしばエンハンピスタントな価値過大評価をもたらす。 本稿では,ODAクエリを削減し,価値学習を改善する政策正規化項を提案する。
  論文  参考訳（メタデータ） (2025-02-05T19:08:42Z)
• Multilinear Tensor Low-Rank Approximation for Policy-Gradient Methods in Reinforcement Learning [27.868175900131313]
  強化学習 (Reinforcement Learning, RL) は、与えられた(時間変化のある)状態を取るための行動を推定することを目的としている。 本稿では,RLポリシーのパラメータを効率的に推定するために,複数線形写像を仮定する。 我々はPARAFAC分解を利用してテンソル低ランクポリシーを設計する。
  論文  参考訳（メタデータ） (2025-01-08T23:22:08Z)
• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Learning Large Neighborhood Search Policy for Integer Programming [14.089039170072084]
  整数プログラミング (IP) のための大規模近傍探索 (LNS) ポリシーを学習するための深層強化学習 (RL) 手法を提案する。 各変数のバイナリ決定に分解することで、すべてのサブセットを表現します。 次に、ニューラルネットワークを設計し、各変数のポリシーを並列に学習し、カスタマイズされたアクター批判アルゴリズムでトレーニングする。
  論文  参考訳（メタデータ） (2021-11-01T09:10:49Z)
• Improving Generalization of Deep Reinforcement Learning-based TSP Solvers [19.29028564568974]
  本稿では,ディープラーニングアーキテクチャとDRL学習方法を含むMAGICという新しいアプローチを提案する。 マルチレイヤパーセプトロン,グラフニューラルネットワーク,アテンションモデルを統合したアーキテクチャでは,旅行セールスマンソリューションを逐次生成するポリシを定義している。 1) DRLポリシー更新をローカル検索とインターリーブし(新しいローカル検索技術を用いて)、(2) 新たなシンプルなベースラインを使用し、(3) 勾配学習を適用した。
  論文  参考訳（メタデータ） (2021-10-06T15:16:19Z)
• Deep Reinforcement Learning with Adjustments [10.244120641608447]
  制御とRLアルゴリズムをブリッジできる連続行動空間のための新しいQ-ラーニングアルゴリズムを提案する。 提案手法は,長期的目標を達成するための複雑なポリシを学習できると同時に,短期的な要件に対応するための調整も容易である。
  論文  参考訳（メタデータ） (2021-09-28T03:35:09Z)
• Online Sub-Sampling for Reinforcement Learning with General Function Approximation [111.01990889581243]
  本稿では,RLアルゴリズムによって収集されたデータポイントの情報取得量を測定する,効率的なオンラインサブサンプリングフレームワークを確立する。 複雑性バウンド関数クラスを持つ値ベースのメソッドの場合、$proptooperatornamepolylog(K)$ timesに対してのみポリシーを更新する必要がある。 少なくとも$Omega(K)$倍のポリシーを更新する既存のアプローチとは対照的に、当社のアプローチはポリシーの解決における最適化コールの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-06-14T07:36:25Z)
• RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
  我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。 画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。 スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
  論文  参考訳（メタデータ） (2021-06-04T03:08:43Z)
• Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning [83.66080019570461]
  課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。 これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。 これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
  論文  参考訳（メタデータ） (2021-03-23T17:49:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。