論文の概要: Don't Throw Away the Tail: Action Upcycling for Policy Acceleration

• arxiv url: http://arxiv.org/abs/2609.34911v2
• Date: Tue, 29 Sep 2026 05:34:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.781375
• Title: Don't Throw Away the Tail: Action Upcycling for Policy Acceleration
• Title（参考訳）: 政策加速のための行動促進策は失敗に終止符を打つな
• Abstract要約: Action Upcyclingはトレーニング不要のアルゴリズムで、ポリシーが破棄されるアクションを再利用する。 政策コールを1.2-1.7倍に減らし、成功率を損なわない。 それは無視できるコストで、どんな政策にも当てはまる。
• 参考スコア（独自算出の注目度）: 43.910503270915825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern robot policies predict a chunk of future actions from a single observation, execute only a prefix, and discard the rest before replanning. Choosing the length of this prefix, the execution horizon, poses a trade-off between reactivity and efficiency. A short horizon keeps the policy reactive to the environment, but requires frequent policy calls. Recent test-time methods adaptively select the horizon for each chunk, but they either read model internals, where the signal must be chosen for each architecture, or draw extra samples, which adds cost. We propose Action Upcycling, a training-free algorithm that reuses actions the policy would otherwise discard, without accessing model internals or drawing extra samples. We find that discarded actions stay close to their replanned versions as long as the action velocity remains smooth. Action Upcycling therefore extends the execution horizon up to the point where the velocity begins to fluctuate. Extensive experiments on simulated and real-world manipulation tasks show that Action Upcycling reduces policy calls by 1.2-1.7x with no loss in success rate, across multiple Vision-Language-Action Models (VLAs) and even a World Action Model (WAM). It applies to any chunked policy at negligible cost and is orthogonal to other policy acceleration methods such as few-step sampling and streaming action decoding, opening a new axis for policy acceleration.
• Abstract（参考訳）: 現代のロボットポリシーは、単一の観察から将来のアクションの断片を予測し、プレフィックスのみを実行し、再計画する前に残りを破棄する。 このプレフィックスの長さを選択すると、実行地平線が反応性と効率のトレードオフを引き起こします。 短期的には、ポリシーは環境に反応するが、頻繁なポリシー呼び出しが必要である。 最近のテストタイム手法では、各チャンクの水平線を適応的に選択するが、各アーキテクチャで信号を選択する必要があるモデル内部を読み込むか、追加のサンプルを描画することでコストが増大する。 我々は、モデルの内部にアクセスしたり、余分なサンプルを描画したりすることなく、ポリシーが破棄されるアクションを再利用する、トレーニング不要のアルゴリズムであるAction Upcyclingを提案する。 動作速度がスムーズである限り、破棄された動作は計画されたバージョンに近づいたままである。 したがって、アクション・アップサイクリングは実行の地平線を速度が変動し始める地点まで広げる。 シミュレーションおよび実世界の操作タスクに関する大規模な実験により、Action Upcyclingは複数のVision-Language-Action Model (VLA) や World Action Model (WAM) を通して、成功率を損なうことなくポリシー呼び出しを1.2-1.7x削減することを示した。 これは、無視可能なコストでチャンクされたポリシーに適用され、数ステップのサンプリングやストリーミングアクション復号といった他のポリシーアクセラレーション手法と直交し、ポリシーアクセラレーションのための新しい軸を開く。

関連論文リスト

• PAVE: Predictive Alignment and Value-Guided Evolution for World-Action Policies [17.87859739145508]
  直接視覚-言語-アクションポリシーは、継続的なロボット動作を効率的に生成するが、標準的な行動クローンは2つの相補的なギャップを残している。 結果に依存しない予測学習と結果認識型政策改善を組み合わせた,直接的な世界行動政策である方法を紹介する。
  論文  参考訳（メタデータ） (2026-08-31T07:36:11Z)
• Why Does Action Chunking Improve Behavioral Cloning Performance in Robotic Control? [78.81308700607651]
  アクションチャンキングは単一のアクションではなく、複数のアクションを予測し、実行する。 非マルコフ表現率の増大と、マルコフポリシーと比較して複合誤差の低減による作用チャンキングの利点が示された。 本稿では,アンサンブルを明示的にインスタンス化することで,アクションチャンキングのメリットを増幅するポリシークラスを提案する。
  論文  参考訳（メタデータ） (2026-08-03T17:32:45Z)
• Learning Not to Optimize: Physics-Informed Action-Space Reshaping for Intent-Based Network Control [50.46501177871741]
  LNOQRD は小物候補を75.9% で削減し、90.8% でニアオラクルのカバレッジを維持している。 実験の結果、LNOQRDは実用性と意図の満足度が最も高く、かつ、法律違反が最低で、世代後レイテンシが低いことがわかった。
  論文  参考訳（メタデータ） (2026-08-02T00:27:01Z)
• Dynamic Execution Horizon Prediction for Chunk-based Robot Policies [29.482987292744568]
  アクションチャンキングは、ポリシーが一連のアクションを予測し、一度にひとつのステップを実行するのではなく、一定数のアクションを実行する、現代のロボットポリシーの標準設計となっている。 実際には、実行の地平線は通常経験的なチューニングによって選ばれ、タスク依存度が高い。 オンライン強化学習を用いて,軽量な実行-水平予測分岐を訓練する有効な手法である動的実行-水平予測(DEHP)を提案する。
  論文  参考訳（メタデータ） (2026-06-09T19:58:31Z)
• Decoupled Q-Chunking [63.864222078287575]
  チャンクされた批評家は、個々のアクションではなく、短いアクションシーケンス("チャンク")の価値を見積もって、価値のバックアップをスピードアップします。 私たちの重要な洞察は、批判者のチャンクの長さをポリシーのチャンクの長さから切り離すことで、ポリシーがより短いアクションチャンクを乗り越えることを可能にすることです。 この設計は、オープンループのサブ最適化と長いアクションチャンクに対するアクションチャンクポリシーの学習の難しさを両立させながら、マルチステップ値伝搬の利点を保っている。
  論文  参考訳（メタデータ） (2025-12-11T18:52:51Z)
• Dense Policy: Bidirectional Autoregressive Learning of Actions [51.60428100831717]
  本稿では,行動予測における自己回帰的政策の新たなパラダイムを確立するために,Dense Policyと呼ばれる双方向拡張学習手法を提案する。 軽量なエンコーダのみのアーキテクチャを使用して、アクションシーケンスを初期単一フレームからターゲットシーケンスへ粗い方法で反復的に展開する。 実験により、我々の密集した政策は自己回帰学習能力に優れており、既存の全体的生成ポリシーを超越できることが示された。
  論文  参考訳（メタデータ） (2025-03-17T14:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。