論文の概要: CFG-Policy: Unified Diffusion Policy Learning Framework via Classifier-free Guidance

• arxiv url: http://arxiv.org/abs/2610.14936v1
• Date: Sat, 10 Oct 2026 14:09:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 03:19:40.131616
• Title: CFG-Policy: Unified Diffusion Policy Learning Framework via Classifier-free Guidance
• Title（参考訳）: CFG-Policy: Unified Diffusion Policy Learning Framework via Classifier-free Guidance
• Abstract要約: CFG-Policyは、探索と搾取を2つの生成ポリシーに分けている。 5つのMuJoCoタスクとRoboTwin操作タスクのFlowSDE+PPOのパフォーマンスを改善する。
• 参考スコア（独自算出の注目度）: 34.974226383553884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion policies are increasingly used in robotic control and manipulation, vision-language-action models, and world-model-based agents. Their ability to represent multimodal action distributions offers rich opportunities for exploration in reinforcement learning (RL). However, optimizing diffusion policies with RL can reduce the behavioral diversity and further limit their exploration capability. In RL post-training, directly fine-tuning a pretrained policy may also disrupt its acquired capabilities, while action-space residuals may lack the expressive power for multimodal exploration. Together, these issues reveal a common challenge across online and offline-to-online diffusion RL: improving task performance while retaining the behavioral diversity and capabilities needed for continued adaptation. We introduce CFG-Policy, a unified, plug-and-play framework that separates exploration and exploitation into two generative policies and combines their score or velocity fields during sampling through classifier-free guidance. For online RL, a frozen exploration branch sustains behavioral diversity while an exploitation branch learns from task rewards; for offline-to-online RL, a pretrained exploitation branch remains frozen while a trainable branch steers the composed behavior. CFG-Policy preserves the underlying RL objectives and improves performance with QSM and QVPO on 5 MuJoCo tasks and with Flow-SDE+PPO on 4 RoboTwin manipulation tasks. Project page is at https://zhy-liu.github.io/cfg-policy-page.
• Abstract（参考訳）: 拡散ポリシーは、ロボット制御と操作、視覚言語アクションモデル、世界モデルベースのエージェントでますます使われている。 マルチモーダルな行動分布を表現する能力は、強化学習(RL)における探索の豊富な機会を提供する。 しかし、RLによる拡散政策の最適化は、行動の多様性を減らし、探索能力をさらに制限する。 RL後訓練では、事前訓練されたポリシーを直接微調整することで、取得した能力を損なう可能性があるが、アクション空間残余はマルチモーダル探索の表現力に欠ける可能性がある。 これらの課題は、オンラインとオフラインの拡散RLにまたがる共通の課題として、継続的な適応に必要な振る舞いの多様性と能力を維持しながら、タスクパフォーマンスを改善することである。 CFG-Policyは、探索と利用を2つの生成ポリシーに分離し、分類器フリーガイダンスによるサンプリング中にそれらのスコアまたは速度場を組み合わせる、統一されたプラグアンドプレイフレームワークである。 オンラインRLでは、凍結探索ブランチは行動の多様性を維持し、エクスプロイトブランチはタスク報酬から学習する。 CFG-Policyは、基礎となるRLの目的を守り、5つのMuJoCoタスクのQSMとQVPO、そして4つのRoboTwin操作タスクのFlow-SDE+PPOのパフォーマンスを改善する。 プロジェクトページはhttps://zhy-liu.github.io/cfg-policy-pageにある。

関連論文リスト

• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation [57.399685080574756]
  既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。 マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。 実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-09-16T03:31:46Z)
• LLM-Explorer: A Plug-in Reinforcement Learning Policy Exploration Enhancement Driven by Large Language Models [42.53342297631436]
  政策探究は強化学習(RL)において重要であり、既存のアプローチには欲求、ガウス過程などが含まれる。 大規模言語モデル(LLM)を用いたタスク固有探索戦略を適応的に生成するLLM-Explorerを設計する。 我々の設計は、DQNシリーズ、DDPG、TD3など、広く使われているRLアルゴリズムと互換性のあるプラグインモジュールである。
  論文  参考訳（メタデータ） (2025-05-21T09:24:23Z)
• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。