Fugu-MT 論文翻訳(概要): Value-Preserving Action Quantization

論文の概要: Value-Preserving Action Quantization

arxiv url: http://arxiv.org/abs/2610.17252v1
Date: Mon, 12 Oct 2026 18:13:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-18 02:29:00.886657
Title: Value-Preserving Action Quantization
Title（参考訳）: 値保存アクション量子化
Abstract要約: 本稿では,行動クローニングのための検索型ポリシー学習フレームワークを提案する。 VAQ-MCTSは、データ効率とロバスト性を大幅に改善しながら、標準設定に適合または超過する。ハードウェア実験はさらにVAQ-MCTSの有効性を実証し、30の現実世界のオブジェクトプッシュ試験を10分で完了した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Search-based policy learning, such as Monte Carlo tree search (MCTS), offers the flexibility to trade runtime computation for data efficiency and adaptation to novel environments. For robot learning, however, applying search requires discretizing the continuous action space and associated dynamics, typically through action quantization. While reconstruction-based quantization is sufficient for representing the continuous action space alone, policy learning additionally requires the quantized actions to preserve their effects on future states and values. We show that such requirement is not necessarily captured by action reconstruction error. Instead, we prove that the error in the value function resulting from action quantization is tightly bounded by the reconstruction error of state reachability under the quantized actions. Based on these results, we propose value-preserving action quantization (VAQ), which quantizes actions by preserving state reachability. We further combine VAQ with MCTS (VAQ-MCTS) as a value-preserving, search-based policy learning framework for behavioral cloning. Using a wide range of object pushing tasks as a controlled benchmark, we evaluate VAQ-MCTS against state-of-the-art behavioral cloning methods. VAQ-MCTS matches or exceeds their performance under standard settings, while substantially improving data efficiency and robustness to heterogeneous demonstrations, while enabling zero-shot adaptation to novel environments. Hardware experiments further demonstrate the effectiveness of VAQ-MCTS, completing all 30 real-world object pushing trials with only 10 minutes of demonstration data.
Abstract（参考訳）: モンテカルロ木探索(MCTS)のような検索ベースのポリシー学習は、データ効率と新しい環境への適応のためにランタイム計算を交換する柔軟性を提供する。しかし、ロボット学習では、探索を適用するには、通常アクション量子化を通じて、連続的なアクション空間と関連するダイナミクスを識別する必要がある。再構成に基づく量子化は連続的な行動空間のみを表現するのに十分であるが、政策学習は将来の状態や値に対する影響を維持するために量子化アクションを必要とする。このような要求が必ずしも行動再構成の誤りによって捕捉されるとは限らないことを示す。代わりに、アクション量子化による値関数の誤差は、量子化されたアクションの下での状態到達性の再構成誤差によって厳密に境界づけられていることを証明する。これらの結果に基づいて,状態到達可能性の保存により動作を定量化する値保存行動量子化(VAQ)を提案する。さらに,VAQ と MCTS (VAQ-MCTS) を併用して,行動クローンのための価値保存型検索型ポリシー学習フレームワークを提案する。広範囲なオブジェクトプッシュタスクを制御されたベンチマークとして使用し、VAQ-MCTSを最先端の動作クローン法に対して評価する。 VAQ-MCTSは、標準設定下での性能と一致または超過し、データ効率と不均一なデモンストレーションに対する堅牢性を大幅に改善し、新規環境へのゼロショット適応を可能にした。ハードウェア実験はさらにVAQ-MCTSの有効性を実証し、30の現実世界のオブジェクトプッシュ試験を10分で完了した。

関連論文リスト

ActionPiece: Rethinking Action Tokenization for Autoregressive Vision-Language-Action Models [40.14720118215973]
アクショントークンーは自己回帰視覚アクション(VLA)モデルにおいて中心的な役割を果たす。トークン化が再建後の局所的物理的距離ランキングをどれだけよく保存するかを測定するために,身体的ランクの整合性(PRC)を導入する。本稿では,表現学習と量子化の連携による身体行動関係の保存を行うActionPieceを提案する。
論文参考訳（メタデータ） (2026-09-16T11:19:54Z)
SA-VLA: State-aware tokenizer for improving Vision-Language-Action Models' performance [12.586771228417112]
本稿では,動作復号をロボットの状態に設定した状態認識型アクショントークンであるSA-VLAを提案する。 12のRoboTwin操作タスクでは、SA-VLAは最強のトークン化剤ベースラインよりも平均成功率を0.29から0.56に改善する。
論文参考訳（メタデータ） (2026-06-29T10:45:53Z)
Understanding Behavior Cloning with Action Quantization [12.649414799403054]
我々は、量子化誤差が地平線に沿ってどのように伝播するかを分析し、統計的サンプルの複雑さと相互作用する。量子化された行動とログロスを用いた行動クローニングが最適なサンプル複雑性を実現することを示す。また,ポリシーのスムーズさを必要とせずに,エラー境界を確実に改善するモデルベース拡張を提案する。
論文参考訳（メタデータ） (2026-03-20T22:22:43Z)
AnyPos: Automated Task-Agnostic Actions for Bimanual Manipulation [24.199522837278128]
本稿では,タスク固有の条件からアクション実行を分離するタスク非依存のアクションパラダイムを提案する。 ATARAはスケーラブルなセルフ教師付きフレームワークで、人間の遠隔操作と比較して30倍以上のコレクションを高速化する。我々はArm-Decoupled EstimationとDirection-Aware Decoderを備えた逆動的モデルであるAnyPosを提案する。
論文参考訳（メタデータ） (2025-07-17T03:48:57Z)
Coarse-to-fine Q-Network with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
本稿では,行動列上のQ値を出力する批判ネットワークを学習する,新しい値に基づく強化学習アルゴリズムを提案する。実験により、CQN-ASは、様々なスパース逆ヒューマノイド制御およびテーブルトップ操作タスクにおいて、いくつかのベースラインより優れていることが示された。
論文参考訳（メタデータ） (2024-11-19T01:23:52Z)
Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文参考訳（メタデータ） (2023-10-18T06:07:10Z)
Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文参考訳（メタデータ） (2023-06-09T18:40:55Z)
Evaluating Dynamic Conditional Quantile Treatment Effects with Applications in Ridesharing [15.35497380896072]
そこで我々は, 動的量子的処理効果(QTE)を, 処理に依存しない特性に基づいて計算するための公式な枠組みを確立した。次に、2つの可変係数決定プロセス(VCDP)モデルを導入し、動的CQTEをテストする革新的な方法を提案する。本手法の実用性を実証するため,配車プラットフォームから実世界の3つのデータセットに適用した。
論文参考訳（メタデータ） (2023-05-17T13:12:48Z)
Solving Continuous Control via Q-learning [54.05120662838286]
深いQ-ラーニングの簡単な修正は、アクター批判的手法による問題を大幅に軽減することを示します。バンバン動作の離散化と値分解、協調マルチエージェント強化学習(MARL)としての単一エージェント制御のフレーミングにより、このシンプルな批判のみのアプローチは、最先端の連続アクター批判法の性能と一致する。
論文参考訳（メタデータ） (2022-10-22T22:55:50Z)
Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
論文参考訳（メタデータ） (2021-10-12T17:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。