論文の概要: Adaptive Q-Chunking for Offline-to-Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.05544v1
• Date: Thu, 07 May 2026 00:48:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.46365
• Title: Adaptive Q-Chunking for Offline-to-Online Reinforcement Learning
• Title（参考訳）: オフライン-オンライン強化学習のための適応Q-Chunking
• Authors: Nandiraju Gireesh, Yuanliang Ju, He Wang,
• Abstract要約: オフライン-オンライン強化学習のための適応Q-Chunking(AQC)を提案する。 AQCは、ディスカウント係数によって正規化された水平毎のベースラインと比較して、各チャンクサイズの利点を比較する。 我々はAQCがOGBenchとRobomimicで最先端のオフラインおよびオンラインの成功率を達成することを実証した。
• 参考スコア（独自算出の注目度）: 7.084495564419559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline-to-online reinforcement learning with action chunking eliminates multi-step off-policy bias and enables temporally coherent exploration, but all existing methods use a fixed chunk size across every state. This is suboptimal: near contact events the agent needs short chunks for reactive control, while during free-space motion long chunks provide better credit assignment. The natural solution is to train critics for several chunk sizes and select the best one at each state, but naive comparison of learned critic values systematically collapses to the shortest chunk due to discount-scale mismatch, and degrades to noise in low-value states. We propose Adaptive Q-Chunking (AQC), which resolves both failures by comparing the advantage of each chunk size relative to a per-horizon baseline, normalized by the discount factor. This criterion converts biased wrong answers into unbiased near-random choices when no genuine signal exists, and becomes discriminative when a particular scale enables better planning. We prove theoretical bounds on the advantage selector's noise immunity and on the value dominance of adaptive chunking over any fixed chunk size. We demonstrate that AQC achieves state-of-the-art offline and online success rates on OGBench and Robomimic, and can be applied to enhance the performance of large-scale VLA models that predict action sequences, significantly boosting performance on RoboCasa-GR1 tasks.
• Abstract（参考訳）: アクションチャンキングによるオフライン間強化学習は、多段階のオフポリシーバイアスを排除し、時間的コヒーレントな探索を可能にする。 エージェントは反応制御のために短いチャンクを必要とし、一方、自由空間運動の長いチャンクはより優れた信用割当を提供する。 自然な解決策は、複数のチャンクサイズで批評家を訓練し、各州で最高のチャンクを選択することであるが、学習した批評家の値の比較は、ディスカウントスケールのミスマッチによって体系的に最も短いチャンクに崩壊し、低値状態のノイズに劣化する。 本稿では,各チャンクサイズを,ディスカウント係数によって正規化された水平単位のベースラインと比較することにより,両者の故障を解消する適応Q-Chunking(AQC)を提案する。 この基準は、偏見のある誤った答えを、真の信号が存在しないときに偏見のないほぼランダムな選択に変換し、特定のスケールがより良い計画を可能にしたときに差別化する。 我々は, 有効セレクタのノイズ免疫性と, 任意の定型チャンクサイズに対する適応チャンクの値優位性に関する理論的境界を証明した。 AQCはOGBenchとRobomimicのオフラインおよびオンラインの成功率を実現し、アクションシーケンスを予測する大規模なVLAモデルの性能向上に適用でき、RoboCasa-GR1タスクの性能を大幅に向上させることができる。

関連論文リスト

• Adaptive Action Chunking at Inference-time for Vision-Language-Action Models [22.3720651624276]
  アクションチャンキングは、ロボット操作能力を改善するための重要なテクニックである。 大きなチャンクサイズは、新しい情報に対するモデルの応答性を低下させ、小さなチャンクではモードジャンプの可能性を高める。 本稿では,適応的行動チャンキング(Adaptive Action Chunking, AAC)戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-05T16:03:32Z)
• Adaptive Neighborhood-Constrained Q Learning for Offline Reinforcement Learning [52.03884701766989]
  オフライン強化学習(RL)アルゴリズムは、通常、アクション選択に制約を課す。 本稿では,Bellmanターゲットにおける行動選択を,データセットアクションの近傍の結合に制限する新しい地区制約を提案する。 我々は,この制約を満たす目標動作を用いてQ学習を行うための,単純で効果的なアルゴリズムであるAdaptive Neighborhood-Constrained Q Learning(ANQ)を開発した。
  論文  参考訳（メタデータ） (2025-11-04T13:42:05Z)
• Leave No Observation Behind: Real-time Correction for VLA Action Chunks [36.13271200613596]
  非同期アクションチャンク補正(A2C2)は、制御ステップ毎に実行される軽量なリアルタイムチャンク補正ヘッドである。 A2C2は,高容量チャンキングポリシーをリアルタイム制御に展開するための効果的なプラグイン機構であることを示す。
  論文  参考訳（メタデータ） (2025-09-27T10:07:49Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration [29.891468119032]
  オフライン強化学習(RL)の事前学習方針を微調整する方法について検討する。 固有報酬としてQ条件状態エントロピー(QCSE)を提案する。 QCSEによる大幅な改善(CQLで約13%、Cal-QLで8%)を観察します。
  論文  参考訳（メタデータ） (2023-10-07T00:02:05Z)
• Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
  オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。 ソフトマージン条件下でのバニラQ関数の類似した結果を示す。 我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
  論文  参考訳（メタデータ） (2023-02-05T14:22:41Z)
• Linear Stochastic Bandits over a Bit-Constrained Channel [37.01818450308119]
  我々は,ビット制約チャネル上に線形バンドレットの新たな定式化を導入する。 サーバの目標は、未知のモデルパラメータの推定値に基づいてアクションを取ることで、累積的後悔を最小限に抑えることである。 未知のモデルが$d$-dimensionalである場合、チャネル容量は$O(d)$ bits suffices で順序最適後悔を実現する。
  論文  参考訳（メタデータ） (2022-03-02T15:54:03Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。