論文の概要: Adaptive Action Chunking via Multi-Chunk Q Value Estimation

• arxiv url: http://arxiv.org/abs/2605.10044v1
• Date: Mon, 11 May 2026 06:14:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.566661
• Title: Adaptive Action Chunking via Multi-Chunk Q Value Estimation
• Title（参考訳）: マルチチャンクQ値推定による適応的アクションチャンキング
• Authors: Yongjae Shin, Jongseong Chae, Seongmin Kim, Jongeui Park, Youngchul Sung,
• Abstract要約: 本稿では,新しいオフライン-オンライン強化学習アルゴリズムであるAdaptive Action CHunking (ACH)を提案する。 ACHはトレーニングと推論の間、チャンクの長さを動的に調節する。 我々のメカニズムにより,エージェントは現在の状態に基づいて最適なチャンク長を適応的に選択できる。
• 参考スコア（独自算出の注目度）: 18.426163168939365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Action chunking emerged as a pivotal technique in imitation learning, enabling policies to predict cohesive action sequences rather than single actions. Recently, this approach has expanded to reinforcement learning (RL), enhancing behavioral consistency and reducing bootstrapping errors in value function estimation. However, existing methods rely on a fixed chunk length, creating a performance bottleneck as the optimal length varies across states and tasks. In this paper, we propose Adaptive Action CHunking (ACH), a novel offline-to-online RL algorithm that dynamically modulates chunk length during both training and inference. To find the optimal chunk length for a dynamically varying current state, we simultaneously estimate action-values for all candidate chunk lengths in a single forward pass, using a Transformer-based architecture. Our mechanism allows the agent to select the most effective chunk length adaptively based on the current state. Evaluated on 34 challenging tasks, ACH consistently outperforms fixed-length baselines, demonstrating superior generalization and learning efficiency in complex environments.
• Abstract（参考訳）: アクションチャンキングは模倣学習において重要なテクニックとして現れ、ポリシーは単一のアクションではなく、凝集的なアクションシーケンスを予測することができる。 近年、この手法は強化学習(RL)に拡張され、振る舞いの一貫性が向上し、値関数推定におけるブートストラップエラーが低減された。 しかし、既存のメソッドは一定のチャンク長に依存しており、最適な長さが状態やタスクによって異なるため、パフォーマンスのボトルネックが生じる。 本稿では,適応行動チャンキング (Adaptive Action CHunking, ACH) を提案する。 動的に変化する電流状態に対する最適チャンク長を求めるために,Transformer-based architecture を用いて,各候補チャンク長のアクション値の同時推定を行う。 我々のメカニズムにより,エージェントは現在の状態に基づいて最適なチャンク長を適応的に選択できる。 34の課題に基づいて評価され、ACHは固定長のベースラインを一貫して上回り、複雑な環境でのより優れた一般化と学習効率を示す。

関連論文リスト

• Adaptive Action Chunking at Inference-time for Vision-Language-Action Models [22.3720651624276]
  アクションチャンキングは、ロボット操作能力を改善するための重要なテクニックである。 大きなチャンクサイズは、新しい情報に対するモデルの応答性を低下させ、小さなチャンクではモードジャンプの可能性を高める。 本稿では,適応的行動チャンキング(Adaptive Action Chunking, AAC)戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-05T16:03:32Z)
• Decoupled Q-Chunking [63.864222078287575]
  チャンクされた批評家は、個々のアクションではなく、短いアクションシーケンス("チャンク")の価値を見積もって、価値のバックアップをスピードアップします。 私たちの重要な洞察は、批判者のチャンクの長さをポリシーのチャンクの長さから切り離すことで、ポリシーがより短いアクションチャンクを乗り越えることを可能にすることです。 この設計は、オープンループのサブ最適化と長いアクションチャンクに対するアクションチャンクポリシーの学習の難しさを両立させながら、マルチステップ値伝搬の利点を保っている。
  論文  参考訳（メタデータ） (2025-12-11T18:52:51Z)
• Improving Generative Behavior Cloning via Self-Guidance and Adaptive Chunking [29.920087317401396]
  ジェネレーティブ・ビヘイビア・クローン(Generative Behavior Cloning)は、ロボット学習のためのシンプルで効果的なフレームワークである。 拡散政策の一貫性と反応性を高めるための2つの新しい手法を提案する。 提案手法は,多種多様なシミュレーションおよび実世界のロボット操作タスクにおいて,GBCの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-10-14T11:16:34Z)
• FlowPG: Action-constrained Policy Gradient with Normalizing Flows [14.98383953401637]
  ACRL(Action-Constrained reinforcement learning)は、安全クリティカルなリソース関連意思決定問題を解決するための一般的な手法である。 ACRLの最大の課題は、各ステップにおける制約を満たす有効なアクションを取るエージェントを確保することである。
  論文  参考訳（メタデータ） (2024-02-07T11:11:46Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Hyper-Learning for Gradient-Based Batch Size Adaptation [2.944323057176686]
  バッチサイズをスケジューリングして拡大することは、ディープニューラルネットワークをトレーニングする際のノイズを制御する効果的な戦略である。 学習可能なスケジューリングのためのバッチサイズ適応を行うためのアルゴリズムとしてArbiterを導入する。 いくつかの実験でArbiterの有効性を実証した。
  論文  参考訳（メタデータ） (2022-05-17T11:01:14Z)
• Learning Salient Boundary Feature for Anchor-free Temporal Action Localization [81.55295042558409]
  時間的行動のローカライゼーションはビデオ理解において重要な課題である。 純粋にアンカーフリーな時間的定位法を初めて提案する。 このモデルには,(i)エンドツーエンドのトレーニング可能な基本予測器,(ii)サリエンシベースのリファインメントモジュール,(iii)いくつかの一貫性制約が含まれている。
  論文  参考訳（メタデータ） (2021-03-24T12:28:32Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。