論文の概要: Action Chunking Proximal Policy Optimization with Feedback Correction

• arxiv url: http://arxiv.org/abs/2609.36250v1
• Date: Mon, 28 Sep 2026 20:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.008022
• Title: Action Chunking Proximal Policy Optimization with Feedback Correction
• Title（参考訳）: フィードバック補正を用いたアクションチャンキング近似ポリシー最適化
• Abstract要約: アクションチャンキングは強化学習における時間的抽象化を提供する。 本稿では,PPO拡張であるAction Chunking PPO(ACPPO)について述べる。 ACPPO-Corrは、各チャンク内で計画されたアクションをオンラインで調整するステップワイズフィードバック修正器でチャンクプランナを強化します。
• 参考スコア（独自算出の注目度）: 24.47744124194428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action chunking provides temporal abstraction in reinforcement learning by selecting short action sequences instead of individual actions, but many existing approaches face two limitations in high-dimensional robotic control. First, many rely on value functions over action chunks, which can be difficult to learn as action dimensionality and chunk length grow. Second, executing chunks open-loop removes within-chunk feedback, limiting reactivity in contact-rich tasks. We present Action Chunking PPO (ACPPO), a PPO extension that uses a chunked actor while retaining a standard state-value critic, thereby avoiding chunked Q-functions. We further propose ACPPO-Corr, which augments the chunk planner with a stepwise feedback corrector that adjusts planned actions online within each chunk. Across 25 simulated robotics tasks from IsaacGym and Bi-DexHands, spanning locomotion, arm manipulation, and dexterous hand-object interaction, ACPPO-Corr achieves the strongest aggregate performance among evaluated methods and performs best on both decision-frequency-sensitive and decision-frequency-neutral task subsets. Ablations show that moderate chunk lengths work best and that corrector regularization is important for balancing chunk-level planning with local feedback. These results suggest that action chunking can be effective in online PPO when chunk-level planning is paired with closed-loop correction. The code is available at: https://github.com/hshhahn/ACPPO.
• Abstract（参考訳）: アクションチャンキングは、個々のアクションの代わりに短いアクションシーケンスを選択することで強化学習における時間的抽象化を提供するが、多くの既存のアプローチは、高次元ロボット制御において2つの制限に直面している。 第一に、多くの人はアクション・チャンクよりも値関数に依存しており、アクション・ディメンタリティやチャンク・長さが大きくなるにつれて学ぶのが難しい。 次に、チャンクをオープンループで実行すると、チャンク内のフィードバックが取り除かれ、コンタクトリッチなタスクの反応性が制限される。 本稿では,PPO拡張であるAction Chunking PPO(ACPPO)を提案する。 さらにACPPO-Corrを提案する。これはチャンクプランナを段階的なフィードバック修正器で拡張し、各チャンク内で計画されたアクションをオンラインに調整する。 ACPPO-Corrは、IsaacGymとBi-DexHandsによる25以上のシミュレーションされたロボットタスク、移動、アーム操作、デキスタラスハンドオブジェクトの相互作用を網羅し、評価されたメソッドの中で最強の集約性能を達成し、決定周波数感受性および決定周波数ニュートラルタスクサブセットの両方で最善を尽くす。 アブレーションは、適度なチャンクの長さが最適であり、局所的なフィードバックとチャンクレベルの計画のバランスをとる上では、修正器の正規化が重要であることを示している。 これらの結果から,チャンクレベル計画とクローズドループ補正を組み合わせれば,オンラインPPOにおいてアクションチャンキングが有効であることが示唆された。 コードは、https://github.com/hshhahn/ACPPO.comで入手できる。

関連論文リスト

• Act More, Decide Less: Skill-Guided Adaptive Action Chunking for Long-Horizon LLM Agents [50.85250898062218]
  大規模言語モデル(LLM)エージェントは、通常、ReActスタイルのプロトコルに従う。 自然な方法は、エージェントが可変長のアクションチャンクを出力することです。 しかし、こうした政策を標準的な強化学習で素直に訓練することは失敗する。
  論文  参考訳（メタデータ） (2026-09-02T03:17:11Z)
• Why Does Action Chunking Improve Behavioral Cloning Performance in Robotic Control? [78.81308700607651]
  アクションチャンキングは単一のアクションではなく、複数のアクションを予測し、実行する。 非マルコフ表現率の増大と、マルコフポリシーと比較して複合誤差の低減による作用チャンキングの利点が示された。 本稿では,アンサンブルを明示的にインスタンス化することで,アクションチャンキングのメリットを増幅するポリシークラスを提案する。
  論文  参考訳（メタデータ） (2026-08-03T17:32:45Z)
• Adaptive Action Chunking via Multi-Chunk Q Value Estimation [18.426163168939365]
  本稿では,新しいオフライン-オンライン強化学習アルゴリズムであるAdaptive Action CHunking (ACH)を提案する。 ACHはトレーニングと推論の間、チャンクの長さを動的に調節する。 我々のメカニズムにより,エージェントは現在の状態に基づいて最適なチャンク長を適応的に選択できる。
  論文  参考訳（メタデータ） (2026-05-11T06:14:32Z)
• ACSAC: Adaptive Chunk Size Actor-Critic with Causal Transformer Q-Network [19.806833366817383]
  ロングホライズン、スパース・リワードのタスクは、強化学習の根本的な課題である。 アクションチャンキングを備えたアクタークリティカルなメソッドは、時間的に拡張されたアクションを操作することでこの問題に対処する。 本稿では,タスク固有のチューニングを使わずに,フレキシブルで状態依存的なチャンクサイズをサポートするための適応チャンクサイズアクタクリティカル(ACSAC)を提案する。
  論文  参考訳（メタデータ） (2026-05-10T10:00:34Z)
• Decoupled Q-Chunking [63.864222078287575]
  チャンクされた批評家は、個々のアクションではなく、短いアクションシーケンス("チャンク")の価値を見積もって、価値のバックアップをスピードアップします。 私たちの重要な洞察は、批判者のチャンクの長さをポリシーのチャンクの長さから切り離すことで、ポリシーがより短いアクションチャンクを乗り越えることを可能にすることです。 この設計は、オープンループのサブ最適化と長いアクションチャンクに対するアクションチャンクポリシーの学習の難しさを両立させながら、マルチステップ値伝搬の利点を保っている。
  論文  参考訳（メタデータ） (2025-12-11T18:52:51Z)
• Leave No Observation Behind: Real-time Correction for VLA Action Chunks [36.13271200613596]
  非同期アクションチャンク補正(A2C2)は、制御ステップ毎に実行される軽量なリアルタイムチャンク補正ヘッドである。 A2C2は,高容量チャンキングポリシーをリアルタイム制御に展開するための効果的なプラグイン機構であることを示す。
  論文  参考訳（メタデータ） (2025-09-27T10:07:49Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。