論文の概要: Dual-Flow Reinforcement Learning with State-Aware Exploration
- arxiv url: http://arxiv.org/abs/2606.29820v1
- Date: Mon, 29 Jun 2026 05:57:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.064912
- Title: Dual-Flow Reinforcement Learning with State-Aware Exploration
- Title（参考訳）: 状態認識探索によるデュアルフロー強化学習
- Abstract要約: 連続制御強化学習タスクでは、マルチモーダル最適動作は不確実なマルチモーダルリターン分布とよく一致する。
本稿では,連続回帰分布とマルチモーダルポリシ分布を共同でモデル化する,アクター・クリティカルな統合フレームワークであるDual-Flow RLを提案する。
DeepMind Control SuiteとHumanoid-Benchの実験は、Dual-Flow RLがほとんどのタスクで最先端のパフォーマンスを実現していることを示している。
- 参考スコア（独自算出の注目度）: 16.944702024760094
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In complex continuous-control reinforcement learning tasks, multimodal optimal actions often coincide with uncertain, multimodal return distributions, making reliable value estimation and multimodal exploration challenging. Existing value estimation methods using unimodal Gaussians restrict expressiveness and yield biased estimates. Recent generative policies can represent multimodal actions but often collapse to a few modes and under-explore high-value areas of the action space. Motivated by these challenges, we propose Dual-Flow RL, a unified actor-critic framework that jointly models a continuous return distribution and a multimodal policy distribution using conditional flow matching (CFM). This design supports reliable value estimation and sustained multimodal exploration. To further enhance exploration, we introduce an Entropy-Covariance Exploration Regulator (ECER) that enables state-aware exploration regulation leveraging policy entropy and action-uncertainty covariance. Experiments on DeepMind Control Suite and Humanoid-Bench show that Dual-Flow RL achieves state-of-the-art performance on most tasks, significantly outperforming prior diffusion-based and flow-based methods.
- Abstract（参考訳）: 複雑な連続制御強化学習タスクでは、マルチモーダル最適動作は不確実なマルチモーダルリターン分布とよく一致し、信頼性の高い値推定とマルチモーダル探索が困難である。
既往値推定法は, 表現性および収差推定を制限している。
最近の生成ポリシーは多モーダルなアクションを表現することができるが、しばしばいくつかのモードに崩壊し、アクション空間の過小評価された高価値領域に崩壊する。
これらの課題に触発されたDual-Flow RLは,条件付きフローマッチング(CFM)を用いた連続回帰分布とマルチモーダルポリシ分布を共同でモデル化する,アクター・クリティカルな統合フレームワークである。
この設計は、信頼性の高い値推定と持続的なマルチモーダル探索をサポートする。
調査をさらに強化するため,政策エントロピーと行動不確実性共分散を利用した国家意識の探索規制を可能にするEntropy-Covariance Exploration Regulator (ECER)を導入する。
DeepMind Control SuiteとHumanoid-Benchの実験により、Dual-Flow RLは、ほとんどのタスクにおいて最先端のパフォーマンスを実現し、従来の拡散ベースおよびフローベース手法よりも大幅に優れていた。
関連論文リスト
- FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning [63.80677039120727]
FlowR2Aは、スコアリングに基づく手法の厳密な監督と、単一の生成モデルによるアンカーベースの手法の提案を統一する。
ソフトプログレッシブ目標に対するハードセーフティ制約のバランスをとるために, 微粒度毎の報奨条件と報奨雑音の増大を導入する。
生成形式は、報酬誘導と固定サンプリングによる制御可能なテスト時間サンプリングをサポートし、高品質な提案を生成する。
論文 参考訳（メタデータ） (2026-06-23T07:21:36Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks [81.07598709704628]
標準線形スケーリングを非線形分布マッチングに置き換える新しいRLトレーニング目標を提案する。
また、高度に堅牢で汎用的なマルチモーダルモデルであるOpenVLThinkerV2を提案する。
論文 参考訳（メタデータ） (2026-04-09T17:59:39Z) - From Flow to One Step: Real-Time Multi-Modal Trajectory Policies via Implicit Maximum Likelihood Estimation-based Distribution Distillation [18.70033095161235]
Indicit Likelihood Estimation (IMLE) を用いて条件付きフローマッチングの専門家を高速な単一ステップの学生に蒸留する枠組みを提案する。
双方向のチャンファー距離は、モードカバレッジと忠実度の両方を促進する設定レベルの目的を提供する。
統合認識エンコーダは、さらに多視点RGB、深度、点雲、プロプレセプションを幾何学的認識表現に統合する。
論文 参考訳（メタデータ） (2026-03-10T09:30:05Z) - Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。
CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。
ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
論文 参考訳（メタデータ） (2026-02-22T07:23:36Z) - D2C-HRHR: Discrete Actions with Double Distributional Critics for High-Risk-High-Return Tasks [0.3425341633647625]
高リスクハイリターン動作を含むタスクは、しばしばマルチモーダルなアクション分布とリターンを示す。
ほとんどの強化学習法は、一元的なガウス主義を前提としており、スカラー評価の批判に頼っている。
本稿では,連続的な行動空間を近似したマルチモーダル分布に識別する強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-20T06:54:53Z) - G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。
複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。
G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
論文 参考訳（メタデータ） (2025-10-02T12:57:12Z) - FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation [57.577843653775]
textbfFindRec (textbfFlexible unified textbfinformation textbfdisentanglement for multi-modal sequence textbfRecommendation)を提案する。
Stein kernel-based Integrated Information Coordination Module (IICM) は理論上、マルチモーダル特徴とIDストリーム間の分散一貫性を保証する。
マルチモーダル特徴を文脈的関連性に基づいて適応的にフィルタリング・結合するクロスモーダル・エキスパート・ルーティング機構。
論文 参考訳（メタデータ） (2025-07-07T04:09:45Z) - Breaking Imitation Bottlenecks: Reinforced Diffusion Powers Diverse Trajectory Generation [20.106116218594266]
DIVERは、強化学習と拡散ベースの生成を統合するエンドツーエンドの自動運転フレームワークである。
また,DIVERは軌道の多様性を著しく改善し,模倣学習に固有のモード崩壊問題に効果的に対処することを示した。
論文 参考訳（メタデータ） (2025-07-05T14:19:19Z) - Distributional Soft Actor-Critic with Diffusion Policy [12.762838783617658]
本稿では,DSAC-D (Distributed Soft Actor Critic with Policy Diffusion) と呼ばれる分散強化学習アルゴリズムを提案する。
提案アルゴリズムは,9つの制御タスクすべてにおいて最先端(SOTA)性能を達成し,推定バイアスの大幅な抑制と,従来の主流アルゴリズムと比較して10%以上の平均戻り値の改善を実現している。
論文 参考訳（メタデータ） (2025-07-02T05:50:10Z) - Continual Multimodal Contrastive Learning [99.53621521696051]
MCL(Multimodal Contrastive Learning)は、異なるモダリティを整列し、関節空間におけるマルチモーダル表現を生成する。
マルチモーダルデータは単一のプロセスで収集されることはめったになく、スクラッチからのトレーニングは計算コストがかかる。
本稿では, 安定性と塑性の2つの原理によりCMCLを定式化する。
理論的には、二辺から部分空間への勾配の更新を計画する、新しい最適化に基づく手法を導出する。
論文 参考訳（メタデータ） (2025-03-19T07:57:08Z) - Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。
共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
論文 参考訳（メタデータ） (2022-12-19T23:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。