論文の概要: ACSAC: Adaptive Chunk Size Actor-Critic with Causal Transformer Q-Network

• arxiv url: http://arxiv.org/abs/2605.11009v1
• Date: Sun, 10 May 2026 10:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.297478
• Title: ACSAC: Adaptive Chunk Size Actor-Critic with Causal Transformer Q-Network
• Title（参考訳）: ACSAC:Causal Transformer Q-Networkを用いた適応型チャンクサイズアクタクリティカル
• Authors: Qian Chen, Junqiao Zhao, Hongtu Zhou, Hang Yu, Yanping Zhao, Chen Ye, Guang Chen,
• Abstract要約: ロングホライズン、スパース・リワードのタスクは、強化学習の根本的な課題である。 アクションチャンキングを備えたアクタークリティカルなメソッドは、時間的に拡張されたアクションを操作することでこの問題に対処する。 本稿では,タスク固有のチューニングを使わずに,フレキシブルで状態依存的なチャンクサイズをサポートするための適応チャンクサイズアクタクリティカル(ACSAC)を提案する。
• 参考スコア（独自算出の注目度）: 19.806833366817383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon, sparse-reward tasks pose a fundamental challenge for reinforcement learning, since single-step TD learning suffers from bootstrapping error accumulation across successive Bellman updates. Actor-critic methods with action chunking address this by operating over temporally extended actions, which reduce the effective horizon, enable fast value backups, and support temporally consistent exploration. However, existing methods rely on a fixed chunk size and therefore cannot adaptively balance reactivity against temporal consistency. A large fixed chunk size reduces responsiveness to new observations, while a small one produces incoherent motions, forcing task-specific tuning of the chunk size. To address this limitation, we propose Adaptive Chunk Size Actor-Critic (ACSAC). ACSAC leverages a causal Transformer critic to evaluate expected returns for action chunks of different sizes. At each chunk boundary, it adaptively selects the chunk size that maximizes the expected return, supporting flexible, state-dependent chunk sizes without task-specific tuning. We prove that the ACSAC Bellman operator is a contraction whose unique fixed point is the action-value function of the adaptive policy. Experiments on OGBench demonstrate that ACSAC achieves state-of-the-art performance on long-horizon, sparse-reward manipulation tasks across both offline RL and offline-to-online RL settings.
• Abstract（参考訳）: ロングホライズン、スパース・リワードタスクは、単段階のTD学習が連続したベルマン更新のブートストラップエラーの蓄積に悩まされるため、強化学習の根本的な課題となる。 アクションチャンキングを備えたアクタークリティカルな手法は、時間的に拡張されたアクションを操作することでこの問題に対処し、効果的な水平線を減らし、高速な値バックアップを可能にし、時間的に一貫した探索をサポートする。 しかし、既存の手法は一定のチャンクサイズに依存しているので、時間的一貫性に対して適応的に反応性のバランスをとることはできない。 大きく固定されたチャンクサイズは、新しい観測に対する応答性を低下させ、小さなチャンクは不整合運動を発生させ、チャンクサイズのタスク固有のチューニングを強制する。 この制限に対処するため,適応型チャンクサイズアクタ・クリティカル (ACSAC) を提案する。 ACSACは因果変換器批判を利用して、異なるサイズのアクションチャンクに対する期待されるリターンを評価する。 各チャンク境界では、期待されるリターンを最大化するチャンクサイズを適応的に選択し、タスク固有のチューニングなしでフレキシブルで状態依存のチャンクサイズをサポートする。 我々は ACSAC Bellman 作用素がアダプティブポリシーの作用値関数である唯一の固定点を持つ収縮であることを証明した。 OGBenchの実験では、ACSACがオフラインRLとオフライン-オンラインRL設定の両方にわたる、長時間のスパース・リワード操作タスクで最先端のパフォーマンスを達成することを示した。

関連論文リスト

• Adaptive Action Chunking via Multi-Chunk Q Value Estimation [18.426163168939365]
  本稿では,新しいオフライン-オンライン強化学習アルゴリズムであるAdaptive Action CHunking (ACH)を提案する。 ACHはトレーニングと推論の間、チャンクの長さを動的に調節する。 我々のメカニズムにより,エージェントは現在の状態に基づいて最適なチャンク長を適応的に選択できる。
  論文  参考訳（メタデータ） (2026-05-11T06:14:32Z)
• Adaptive Q-Chunking for Offline-to-Online Reinforcement Learning [7.084495564419559]
  オフライン-オンライン強化学習のための適応Q-Chunking(AQC)を提案する。 AQCは、ディスカウント係数によって正規化された水平毎のベースラインと比較して、各チャンクサイズの利点を比較する。 我々はAQCがOGBenchとRobomimicで最先端のオフラインおよびオンラインの成功率を達成することを実証した。
  論文  参考訳（メタデータ） (2026-05-07T00:48:25Z)
• Adaptive Action Chunking at Inference-time for Vision-Language-Action Models [22.3720651624276]
  アクションチャンキングは、ロボット操作能力を改善するための重要なテクニックである。 大きなチャンクサイズは、新しい情報に対するモデルの応答性を低下させ、小さなチャンクではモードジャンプの可能性を高める。 本稿では,適応的行動チャンキング(Adaptive Action Chunking, AAC)戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-05T16:03:32Z)
• Decoupled Q-Chunking [63.864222078287575]
  チャンクされた批評家は、個々のアクションではなく、短いアクションシーケンス("チャンク")の価値を見積もって、価値のバックアップをスピードアップします。 私たちの重要な洞察は、批判者のチャンクの長さをポリシーのチャンクの長さから切り離すことで、ポリシーがより短いアクションチャンクを乗り越えることを可能にすることです。 この設計は、オープンループのサブ最適化と長いアクションチャンクに対するアクションチャンクポリシーの学習の難しさを両立させながら、マルチステップ値伝搬の利点を保っている。
  論文  参考訳（メタデータ） (2025-12-11T18:52:51Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• Leave No Observation Behind: Real-time Correction for VLA Action Chunks [36.13271200613596]
  非同期アクションチャンク補正(A2C2)は、制御ステップ毎に実行される軽量なリアルタイムチャンク補正ヘッドである。 A2C2は,高容量チャンキングポリシーをリアルタイム制御に展開するための効果的なプラグイン機構であることを示す。
  論文  参考訳（メタデータ） (2025-09-27T10:07:49Z)
• Rectified Sparse Attention [61.7702154360081]
  効率的なロングシーケンス生成は、大規模言語モデルにとって重要な課題である。 本稿では,ブロックスパースアテンションと周期的な密度補正を組み合わせた簡易かつ効果的な方法であるRectified Sparse Attention (ReSA)を提案する。 数学推論、言語モデリング、検索タスクにわたる実験は、ReSAがほぼ無作為な生成品質を達成することを示す。
  論文  参考訳（メタデータ） (2025-06-04T16:01:48Z)
• Solving Continuous Control via Q-learning [54.05120662838286]
  深いQ-ラーニングの簡単な修正は、アクター批判的手法による問題を大幅に軽減することを示します。 バンバン動作の離散化と値分解、協調マルチエージェント強化学習(MARL)としての単一エージェント制御のフレーミングにより、このシンプルな批判のみのアプローチは、最先端の連続アクター批判法の性能と一致する。
  論文  参考訳（メタデータ） (2022-10-22T22:55:50Z)
• Band-limited Soft Actor Critic Model [15.11069042369131]
  SAC(Soft Actor Critic)アルゴリズムは複雑なシミュレーション環境において顕著な性能を示す。 我々は、このアイデアをさらに一歩進めて、対象の批判的空間分解能を人工的にバンドリミットする。 線形の場合、閉形式解を導出し、バンドリミットが状態-作用値近似の低周波数成分間の相互依存性を減少させることを示す。
  論文  参考訳（メタデータ） (2020-06-19T22:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。