論文の概要: Unified Noise Steering for Efficient Human-Guided VLA Adaptation
- arxiv url: http://arxiv.org/abs/2605.10821v1
- Date: Mon, 11 May 2026 16:37:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:51.000545
- Title: Unified Noise Steering for Efficient Human-Guided VLA Adaptation
- Title（参考訳）: 能動誘導型VLA適応のための統一ノイズステアリング
- Authors: Junjie Lu, Xinyao Qin, Yuhua Jiang, Kaixin Wang, Chuheng Zhang, Bin Liang, Jun Yang, Min Xu, Li Zhao,
- Abstract要約: 拡散に基づく視覚言語アクション(VLA)モデルは、ロボット操作の強力な先駆者として登場した。
ノイズスペースRLは、ノイズを予測する軽量アクターのみを更新しながら、事前訓練されたVLAをデノナイジングジェネレータとして固定し、コストを下げる。
提案するUniSteerは,人間の修正誘導と雑音空間RLを近似的な動作-雑音インバージョンにより組み合わせた統一ノイズステアリングフレームワークである。
- 参考スコア（独自算出の注目度）: 28.625432744456763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion-based vision-language-action (VLA) models have emerged as strong priors for robotic manipulation, yet adapting them to real-world distributions remains challenging. In particular, on-robot reinforcement learning (RL) is expensive and time-consuming, so effective adaptation depends on efficient policy improvement within a limited budget of real-world interactions. Noise-space RL lowers the cost by keeping the pretrained VLA fixed as a denoising generator while updating only a lightweight actor that predicts the noise. However, its performance is still limited due to inefficient autonomous exploration. Human corrective interventions can reduce this exploration burden, but they are naturally provided in action space, whereas noise-space finetuning requires supervision over noise variables. To address these challenges, we propose UniSteer, a Unified Noise Steering framework that combines human corrective guidance with noise-space RL through approximate action-to-noise inversion. Given a human corrective action, UniSteer inverts the frozen flow-matching decoder to recover a noise target, which provides supervised guidance for the same noise actor that is simultaneously optimized via reinforcement learning. Real-world experiments on diverse manipulation tasks show that UniSteer adapts more efficiently than strong noise-space RL and action-space human-in-the-loop baselines, improving the success rate from 20% to 90% in 66 minutes on average across four real-world adaptation tasks.
- Abstract（参考訳）: 拡散に基づく視覚言語アクション(VLA)モデルは、ロボット操作の強力な先駆者として登場したが、現実の分布に適応することは依然として困難である。
特に、オンロボット強化学習(RL)は高価で時間を要するため、実世界の相互作用の限られた予算内での効率的な政策改善に依存している。
ノイズスペースRLは、ノイズを予測する軽量アクターのみを更新しながら、事前訓練されたVLAをデノナイジングジェネレータとして固定し、コストを下げる。
しかし、非効率な自律探査のため、その性能は依然として限られている。
人間の修正介入は、この探索の負担を軽減することができるが、自然に活動空間で提供されるが、ノイズ空間の微調整にはノイズ変数の監督が必要である。
これらの課題に対処するため、我々はUniSteerを提案する。UniSteerは、人間の修正誘導とノイズ空間RLを近似的なアクション・ツー・ノイズ・インバージョンによって組み合わせた統一ノイズステアリングフレームワークである。
人間の修正動作が与えられた場合、UniSteerは凍結したフローマッチングデコーダを反転してノイズターゲットを回復し、強化学習によって同時に最適化された同じノイズアクターに対する教師付きガイダンスを提供する。
多様な操作タスクに関する実世界の実験は、UniSteerが強いノイズ空間RLとアクション空間の人間-イン-ループベースラインよりも効率的に適応し、4つの実世界の適応タスクで平均して平均で20%から90%に改善していることを示している。
関連論文リスト
- RFS: Reinforcement Learning with Residual Flow Steering for Dexterous Manipulation [7.500999283386335]
残留フローステアリング(Residual Flow Steering、RFS)は、事前訓練された生成ポリシーを適用するためのデータ効率の強化学習フレームワークである。
RFSは、残留動作と潜時雑音分布を協調的に最適化することにより、事前訓練されたフローマッチングポリシーを操る。
シミュレーションと実世界の両方の設定において, RFS が効率よく微調整できることを示す。
論文 参考訳（メタデータ） (2026-02-02T08:11:57Z) - Learning to Explore with Parameter-Space Noise: A Deep Dive into Parameter-Space Noise for Reinforcement Learning with Verifiable Rewards [16.22162269278471]
PSN-RLVRは、ロールアウト生成前にポリシーパラメータを摂動させ、時間的に一貫した軌道レベルの探索を誘導する。
本稿では,意味的多様性と正規化自己確実性を組み合わせた軽量サロゲートによって駆動される,計算効率のよいリアルタイム適応ノイズスケジューラを提案する。
論文 参考訳（メタデータ） (2026-01-30T13:10:30Z) - Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control [18.618486126491334]
SAC(Soft Actor-Critic)がヒューマノイド・ロコモーション・ポリシーの大規模事前学習を確実に支援していることが判明した。
SAC-pretrained Policyは、モデルベースの手法を用いて、新しい環境やアウト・オブ・ディストリビューションタスクで微調整できる。
全体としては, 大規模シミュレーションのウォールクロック効率と, 微調整時のモデルベース学習のサンプル効率を両立させる。
論文 参考訳（メタデータ） (2026-01-29T07:43:24Z) - Real-world Reinforcement Learning from Suboptimal Interventions [39.23110010675281]
SiLRI (SiLRI) は、現実のロボット操作タスクのための州立ラグランジアン強化学習アルゴリズムである。
我々のアルゴリズムは,人間間遠隔操作システムに基づいて,多様な操作タスクに関する実世界の実験を通じて評価される。
論文 参考訳（メタデータ） (2025-12-30T15:26:42Z) - ENJ: Optimizing Noise with Genetic Algorithms to Jailbreak LSMs [61.09812971042288]
進化的騒音ジェイルブレイク(ENJ)
本稿では,環境騒音を受動的干渉から積極的に最適化可能な攻撃キャリアへ変換する遺伝的アルゴリズムを提案する。
複数の主流音声モデルに対する実験により、ENJの攻撃効果は既存のベースライン法よりもかなり優れていることが示された。
論文 参考訳（メタデータ） (2025-09-14T06:39:38Z) - QuietPaw: Learning Quadrupedal Locomotion with Versatile Noise Preference Alignment [32.730540558720314]
四足歩行ロボットの騒音は、家やオフィス、病院といった人間中心の環境を妨害する可能性がある。
そこで我々は,騒音の低減レベルにポリシーの振舞いを条件付けることで,フレキシブルでノイズ対応のロコモーションを可能にする,制約付き学習ベースアルゴリズムQuietPawを提案する。
我々はシミュレーションと実世界における我々のアプローチを検証し、CNCPがロコモーション性能と雑音制約を効果的にバランスできることを実証した。
論文 参考訳（メタデータ） (2025-03-06T23:20:04Z) - Latent Exploration for Reinforcement Learning [87.42776741119653]
強化学習では、エージェントは環境を探索し、相互作用することでポリシーを学ぶ。
LATent TIme-Correlated Exploration (Lattice)を提案する。
論文 参考訳（メタデータ） (2023-05-31T17:40:43Z) - A noise-robust acoustic method for recognizing foraging activities of grazing cattle [35.21388806827219]
NRFAR(Noth-Robust Foraging Activity Recognizer)と呼ばれる音響手法の動作原理と一般化能力について述べる。
ノイズのない環境では、NRFARは平均的平衡精度86.4%に達し、以前の2つの音響手法を7.5%以上上回った。
NRFARは厳しい放牧環境において有効であることが示されており、牧草管理を改善し、乳牛の健康と福祉をモニタリングするための信頼性の高いソリューションとして利用することができる。
論文 参考訳（メタデータ） (2023-04-28T13:06:14Z) - Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文 参考訳（メタデータ） (2023-01-18T04:54:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。