論文の概要: Why Does Action Chunking Improve Behavioral Cloning Performance in Robotic Control?
- arxiv url: http://arxiv.org/abs/2608.02547v1
- Date: Mon, 03 Aug 2026 17:32:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.731989
- Title: Why Does Action Chunking Improve Behavioral Cloning Performance in Robotic Control?
- Title（参考訳）: なぜアクションチャンキングはロボット制御における行動クローン性能を改善するのか?
- Abstract要約: アクションチャンキングは単一のアクションではなく、複数のアクションを予測し、実行する。
非マルコフ表現率の増大と、マルコフポリシーと比較して複合誤差の低減による作用チャンキングの利点が示された。
本稿では,アンサンブルを明示的にインスタンス化することで,アクションチャンキングのメリットを増幅するポリシークラスを提案する。
- 参考スコア（独自算出の注目度）: 78.81308700607651
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Action chunking---predicting and executing multiple actions instead of a single action---has proven to be a critical component for learning effective robotic control policies. However, our precise understanding of why action chunking improves performance has remained limited. In this work we seek to close this gap. Through rigorous experimental evaluations in both simulated and real-world settings, we show that existing hypotheses for the success of action chunking---temporal consistency, horizon reduction, and representation learning---fail to explain the success of action chunking. Instead, we find that action chunking benefits from greater non-Markovian expressivity and reduced compounding error compared to Markovian policies, but, in many settings of interest, these effects can be fully captured by delayed policies, which at each step predict a single action based on the observation $k$ steps in the past. We then show that there exists an additional benefit of action chunking that we refer to as implicit ensembling. In particular, by learning a diversity of temporal relationships (that is, $a_t | o_t, a_t | o_{t-1}, \ldots$), action-chunked policies exhibit behavior matching that of a model ensemble, increasing their robustness and generalization ability over policies that only learn a single temporal relationship. Building on these insights, we show that in simulated and real-world robotic control settings, we can match the performance of action chunking without action chunking---by deploying an action chunking policy as an ensemble of policies with randomized delays. Furthermore, we propose a policy class that amplifies the benefits of action chunking by explicitly instantiating an ensemble, and which we show significantly improves over the performance of action chunking in many domains.
- Abstract（参考訳）: アクションチャンキング — 単一のアクションではなく、複数のアクションを予測し、実行する — は、効果的なロボット制御ポリシーを学ぶ上で重要なコンポーネントであることが証明された。
しかし、アクションチャンキングがパフォーマンスを向上させる理由の正確な理解は、まだ限られている。
この作業では、このギャップを埋めようとしています。
シミュレーションと実世界の両方の環境における厳密な実験的評価を通じて,アクションチャンキングの成功に対する既存の仮説 – 時間的一貫性,地平線低減,表現学習 – が,アクションチャンキングの成功を説明する上で有効であることを示す。
代わりに、マルコフ的でない表現力の増大とマルコフ的ポリシーと比較して複合的誤差の低減によるアクションチャンキングの利点が分かるが、多くの興味のある設定では、これらの効果は遅延ポリシーによって完全に捉えられ、各ステップで過去の観測値$k$のステップに基づいて単一のアクションを予測することができる。
次に、暗黙のアンサンブル(暗黙のアンサンブル)と呼ぶアクションチャンキングのさらなる利点があることを示します。
特に、時間的関係の多様性(すなわち、$a_t | o_t, a_t | o_{t-1}, \ldots$)を学ぶことによって、アクションチャンクされたポリシーは、モデルアンサンブルと一致する振る舞いを示し、単一の時間的関係しか学ばないポリシーよりも頑健さと一般化能力を高める。
これらの知見に基づいて、シミュレーションされた実世界のロボット制御設定では、アクションチャンキングなしでアクションチャンキングのパフォーマンスを一致させることができる。
さらに、アンサンブルを明示的にインスタンス化することでアクションチャンキングの利点を増幅するポリシークラスを提案し、多くのドメインにおけるアクションチャンキングのパフォーマンスを大幅に改善することを示す。
関連論文リスト
- Revisiting Open-Loop Execution in Robotics: Toward Reactive, Higher-Performing Policies [21.50347781480984]
アクションチャンキングは、ロボット操作のための模倣学習の最近の進歩の鍵となった。
長いオープンループプレフィックスを実行すると、反応性が低下し、エラーを修正するポリシーの能力が制限される。
我々は、長いオープンループの実行は、主に「非マルコフ的な実演」を模倣する短文ポリシーに役立つと論じている。
論文 参考訳（メタデータ） (2026-08-16T21:49:07Z) - PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models [50.232333672172395]
VLA(Vision-Language-Action)モデルは、ロボット操作の統一パラダイムを提供するが、実際のデプロイメントは実行効率によってボトルネックになることが多い。
強化学習に基づくポストトレーニングフレームワークである textbfPolicyTrim を提案する。
私たちのフレームワークは、タスクの成功率を損なうことなく、最大5.83$times$エンドツーエンドのデプロイメントスピードアップを提供します。
論文 参考訳（メタデータ） (2026-06-21T14:54:07Z) - When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。
実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。
本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
論文 参考訳（メタデータ） (2026-02-09T18:41:15Z) - Real-Time Robot Execution with Masked Action Chunking [38.37108371991901]
ロボットのようなサイバー物理システムにはリアルタイム実行が不可欠である。
近年,リアルタイムロボット操作のためのシステムレベルのパラダイムとして,非同期推論が登場している。
本稿では,マスクされたアクションチャンキングによって事前訓練されたポリシーの修正を学習するREMACを提案する。
論文 参考訳（メタデータ） (2026-01-27T23:48:32Z) - Decoupled Q-Chunking [63.864222078287575]
チャンクされた批評家は、個々のアクションではなく、短いアクションシーケンス("チャンク")の価値を見積もって、価値のバックアップをスピードアップします。
私たちの重要な洞察は、批判者のチャンクの長さをポリシーのチャンクの長さから切り離すことで、ポリシーがより短いアクションチャンクを乗り越えることを可能にすることです。
この設計は、オープンループのサブ最適化と長いアクションチャンクに対するアクションチャンクポリシーの学習の難しさを両立させながら、マルチステップ値伝搬の利点を保っている。
論文 参考訳（メタデータ） (2025-12-11T18:52:51Z) - Improving Generative Behavior Cloning via Self-Guidance and Adaptive Chunking [29.920087317401396]
ジェネレーティブ・ビヘイビア・クローン(Generative Behavior Cloning)は、ロボット学習のためのシンプルで効果的なフレームワークである。
拡散政策の一貫性と反応性を高めるための2つの新しい手法を提案する。
提案手法は,多種多様なシミュレーションおよび実世界のロボット操作タスクにおいて,GBCの性能を大幅に向上させる。
論文 参考訳（メタデータ） (2025-10-14T11:16:34Z) - Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。
動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。
提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
論文 参考訳（メタデータ） (2024-08-30T15:39:34Z) - Utilizing Skipped Frames in Action Repeats via Pseudo-Actions [13.985534521589253]
多くの深層強化学習では、エージェントがアクションを取ると、次のアクション決定点まで状態を観察しずに、事前定義された回数で同じアクションを繰り返します。
訓練データの量は、反復する行動の間隔に逆比例するので、トレーニングのサンプル効率に悪影響を及ぼす可能性がある。
疑似アクションの概念を導入してこの問題を緩和する,シンプルだが効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-07T02:43:44Z) - Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。
我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。
これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
論文 参考訳（メタデータ） (2020-02-10T04:23:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。