論文の概要: Three Steps at a Time: Learning Representations from Action Sequences in Contrastive RL

• arxiv url: http://arxiv.org/abs/2608.30640v1
• Date: Mon, 31 Aug 2026 11:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.371798
• Title: Three Steps at a Time: Learning Representations from Action Sequences in Contrastive RL
• Title（参考訳）: コントラストRLにおける行動系列から表現を学習する3つのステップ
• Abstract要約: 私たちは、アクションチャンクを操作するために、対照的な強化学習を使用します。 我々の実証研究は、CRLの文脈では、アクションチャンクは単一のアクションよりもゴールに関するより多くの情報を持っていることを示唆している。
• 参考スコア（独自算出の注目度）: 26.12269139754891
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While self-supervised approaches to reinforcement learning have achieved strong results by learning representations of states and actions, a key open question is the time scale over which actions should be modeled. Departing from the standard formulation relying on single-step actions, we extend contrastive reinforcement learning (CRL), a prototypical self-supervised method, to operate over action chunks, and find that this results in large, pervasive gains across established offline and online benchmarks: +31.7% and +93.1% across 18 and 11 environments respectively. While action-chunking-driven gains are generally explained through the ability to model non-Markovian, temporally extended policies, and to propagate unbiased multi-step returns, interestingly, we find that these arguments only partially apply to CRL. Our empirical studies suggest that, in the context of CRL, an action chunk carries more information about the goal than a single action, measurably improving the critic's representations, and rendering the algorithm significantly more effective.
• Abstract（参考訳）: 強化学習への自己指導的アプローチは状態や行動の表現を学習することで大きな成果を上げてきたが、重要な疑問は行動がモデル化されるべき時間スケールである。 単一ステップの動作に依存する標準的な定式化とは別に、プロトタイプな自己管理手法であるCRLを拡張してアクションチャンクを操作し、既存のオフラインおよびオンラインベンチマークにおいて、それぞれ18および11の環境において、+31.7%と+93.1%という大きな広範的なゲインをもたらすことを発見した。 アクション・チャンキング駆動ゲインは、一般に、非マルコフ的、時間的に拡張されたポリシーをモデル化し、非バイアスの多段階返却を伝播する能力によって説明されるが、興味深いことに、これらの議論はCRLにのみ部分的に適用される。 我々の実証研究は、CRLの文脈では、アクションチャンクは単一のアクションよりもゴールに関するより多くの情報を持ち、批評家の表現を確実に改善し、アルゴリズムをより効果的にレンダリングすることを示唆している。

関連論文リスト

• DEAS: DEtached value learning with Action Sequence for Scalable Offline RL [46.40818333031899]
  Action Sequence(DEAS)は、アクションシーケンスをバリュー学習に活用する、シンプルだが効果的なオフラインRLフレームワークである。 DEASはOGBenchの複雑な長期タスクのベースラインを一貫して上回る。 大規模ビジョン・ランゲージ・アクションモデルの性能向上に応用できる。
  論文  参考訳（メタデータ） (2025-10-09T03:11:09Z)
• Learning to Reason as Action Abstractions with Scalable Mid-Training RL [55.24192942739207]
  効果的な中間訓練フェーズは、有用なアクションのコンパクトなセットを特定し、高速な選択を可能にする。 本稿では,スケーラブルなミッドトレーニングアルゴリズムであるReasoning as Action Abstractions (RA3)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T05:34:20Z)
• Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.5858973157225]
  本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。 我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。 私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-07-16T17:59:24Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• What Matters for Batch Online Reinforcement Learning in Robotics? [65.06558240091758]
  政策改善のために、自律的に収集された大量のデータから学習できることは、真にスケーラブルなロボット学習を可能にするという約束を支えている。 これまで、オンラインRL問題に模倣学習とフィルタ模倣学習を適用してきた。 これらの軸が自律的なデータ量でパフォーマンスとスケーリングにどのように影響するかを分析します。
  論文  参考訳（メタデータ） (2025-05-12T21:24:22Z)
• For Pre-Trained Vision Models in Motor Control, Not All Policy Learning Methods are Created Equal [17.467998596393116]
  事前訓練された視覚モデルが異なる制御ポリシーの下で有効性に一貫性があるかどうかは不明である。 本研究は, 事前学習の有効性が下流政策学習アルゴリズムの選択に大きく依存していることの発見を含む, 一連の興味深い結果をもたらす。
  論文  参考訳（メタデータ） (2023-04-10T13:52:19Z)
• Representation Learning for Continuous Action Spaces is Beneficial for Efficient Policy Learning [64.14557731665577]
  深部強化学習(DRL)は従来の強化学習(RL)のボトルネックを突破する 本稿では,潜在状態と行動空間における効率的なポリシー学習手法を提案する。 提案手法の有効性をMountainCar,CarRacing,Cheetah実験で実証した。
  論文  参考訳（メタデータ） (2022-11-23T19:09:37Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。