論文の概要: CANDO: Conservative Action-Noise Directional Optimization for Residual Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.04543v1
• Date: Tue, 03 Nov 2026 09:11:27 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:27:43.726576
• Title: CANDO: Conservative Action-Noise Directional Optimization for Residual Reinforcement Learning
• Title（参考訳）: CANDO:残留強化学習のための保守的行動雑音方向最適化
• Abstract要約: オフラインのデモから学んだ構造を破壊することなく、凍結生成ポリシーを改善する方法を示す。 ノイズ空間残差法は、ポリシーの入力ノイズを変更することでこの問題に対処するが、既存のノイズ空間法は通常、固定された潜在可能な領域による適応を規制する。 本稿では,雑音空間残差RL法であるCNDO(Reserve Noise Directional Optimization)を提案する。
• 参考スコア（独自算出の注目度）: 45.79467737618126
• License:
• Abstract: Pretrained generative policies provide strong behavior priors for robot control, but adapting them efficiently with online reinforcement learning remains difficult. A central challenge is how to improve a frozen generative policy without destroying the structure learned from offline demonstrations. Noise-space residual methods address this by modifying the policy's input noise, but existing noise-space methods typically regulate adaptation through fixed latent feasible regions, which may exclude valuable noise edits. In contrast, action-space residual methods are more sample-efficient, but their efficiency can still be further improved. We propose Conservative Noise Directional Optimization (CNDO), a noise-space residual RL method that improves a frozen generative policy by learning state- and noise-conditioned directions around Gaussian latent samples. CNDO removes predefined latent feasible regions and instead regulates noise-space adaptation through the soft conservative constraint, which consists of conservative value estimation and gated execution. We further introduce Conservative Action-Noise Directional Optimization (CANDO), which adds an action-space residual, combining structured latent-space improvement with local action correction. Experiments show that, once CNDO narrows the gap between noise-space and action-space residual learning, CANDO further improves over single-space optimization, achieving 76.1 NAUC and a 91.4% final success rate, surpassing the best single-space results by 6.6 NAUC and 4.1% success rate. More demos and info are available on https://cando-rl.github.io/.
• Abstract（参考訳）: 事前訓練された生成ポリシーは、ロボット制御に強い行動前兆を提供するが、オンライン強化学習でそれらを効率的に適応することは依然として困難である。 中心的な課題は、オフラインのデモから学んだ構造を破壊することなく、凍結した生成ポリシーを改善する方法である。 ノイズ空間残差法は、ポリシーの入力ノイズを変更することでこの問題に対処するが、既存のノイズ空間法は通常、価値あるノイズ編集を除外する固定潜在可能領域による適応を規制する。 対照的に、アクション空間残留法はよりサンプリング効率が高いが、その効率はさらに改善される。 雑音空間残留RL法として,ガウス潜伏サンプルの周囲の状態条件と騒音条件を学習することで,凍結生成ポリシーを改善する保守型ノイズ指向最適化法を提案する。 CNDOは予め定義された潜在可能な領域を排除し、代わりに、保守的な値推定とゲート実行からなるソフトな保守的制約によってノイズ空間適応を規制する。 さらに、局所的な行動補正と構造化された潜在空間改善を組み合わせた、行動空間残差を付加する保守的行動雑音指向最適化(CANDO)を導入する。 実験の結果、CNDOがノイズ空間とアクション空間残差学習のギャップを狭めると、CANDOは単一空間の最適化よりもさらに改善し、76.1 NAUCと91.4%の最終的な成功率を獲得し、最高の単一空間結果の6.6 NAUCと4.1%の成功率を上回った。 さらなるデモと情報はhttps://cando-rl.github.io/.com/で公開されている。

関連論文リスト

• Planning under Noise with Neural Operators [69.53338532337057]
  不確実な制御実行ノイズの下での計画には、多様な環境における信頼性の高いフィードバックポリシーが必要である。 本研究では,未知の測地における計画のための雑音認識値場を学習するニューラル演算子であるプランニング・アンダーノイズ(PUN)を紹介する。
  論文  参考訳（メタデータ） (2026-10-20T17:58:30Z)
• Noisy-Space Policy Gradient for Diffusion Policies in Offline Reinforcement Learning [1.2744523252873352]
  拡散ポリシーは、連続制御のための強力で表現力豊かなパラメータ化を提供する。 しかし、強化学習との統合は概念的にもアルゴリズム的にも困難なままである。 拡散潜伏子に値を割り当てる雑音空間のアクション値(Q-)関数を導入する。 この構造は、正確な意味論的解釈を許容し、ノイズ空間のポリシー勾配を導出することを示す。
  論文  参考訳（メタデータ） (2026-09-07T00:08:13Z)
• StructRL: Structured Action-Space Exploration for Flow-Based VLAs [81.43458629514139]
  フローベースのビジョン・ランゲージ・アクションモデルは現在、連続的なロボット操作に広く使われている。 オンライン強化学習は、それらを新しいタスクに適応するための重要なテクニックとして浮上している。 動作群間で時間的にスムーズかつスケールの異なる,構造的雑音に対する効果的なロボット探索の必要性を示す。
  論文  参考訳（メタデータ） (2026-08-15T09:31:29Z)
• Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance [1.6567880228735357]
  本稿では, ノイズ注入の理論解析を行い, インパルスノイズによる劣化がヤコビ正規化に近似していることを確認する。 本研究は, インダクティブバイアスによる障害モードのペナルティ化が, インターリーブドノイズ注入の効果に起因していることを示す。 したがって、インターリーブノイズ注入は、本質的に計算コストゼロで、クリーンでノイズの多い、およびアウト・オブ・ディストリビューションデータのテスト性能を向上させる効果的なツールである。
  論文  参考訳（メタデータ） (2026-07-16T01:25:44Z)
• Lagrangian Perturbation Diffusion Steering: Latent Reinforcement Learning for Generative Policies [5.170807667319543]
  復号化前にコンパクトな雑音空間摂動を学習することにより、凍結生成ポリシーを改善する軽量適応法を提案する。 RoboMimic操作、OpenAI Gymロコモーション、Adroit dexterous操作ベンチマークの他、LP-DSはサンプル効率、成功、リターンを改善しながら、制約のないノイズ空間ステアリングよりも高いアクション空間エントロピーを維持している。
  論文  参考訳（メタデータ） (2026-05-31T10:40:28Z)
• Unified Noise Steering for Efficient Human-Guided VLA Adaptation [28.625432744456763]
  拡散に基づく視覚言語アクション(VLA)モデルは、ロボット操作の強力な先駆者として登場した。 ノイズスペースRLは、ノイズを予測する軽量アクターのみを更新しながら、事前訓練されたVLAをデノナイジングジェネレータとして固定し、コストを下げる。 提案するUniSteerは,人間の修正誘導と雑音空間RLを近似的な動作-雑音インバージョンにより組み合わせた統一ノイズステアリングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-11T16:37:34Z)
• CDSA: Conservative Denoising Score-based Algorithm for Offline Reinforcement Learning [25.071018803326254]
  オフラインの強化学習において、分散シフトは大きな障害である。 以前の保守的なオフラインRLアルゴリズムは、目に見えないアクションに一般化するのに苦労した。 本稿では、事前学習したオフラインRLアルゴリズムから生成されたデータセット密度の勾配場を用いて、元の動作を調整することを提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:59:29Z)
• A noise-robust acoustic method for recognizing foraging activities of grazing cattle [35.21388806827219]
  NRFAR(Noth-Robust Foraging Activity Recognizer)と呼ばれる音響手法の動作原理と一般化能力について述べる。 ノイズのない環境では、NRFARは平均的平衡精度86.4%に達し、以前の2つの音響手法を7.5%以上上回った。 NRFARは厳しい放牧環境において有効であることが示されており、牧草管理を改善し、乳牛の健康と福祉をモニタリングするための信頼性の高いソリューションとして利用することができる。
  論文  参考訳（メタデータ） (2023-04-28T13:06:14Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。