論文の概要: DEFlow: Deep Equilibrium Flow Maximum-Entropy Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.16597v2
• Date: Wed, 14 Oct 2026 06:48:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.363639
• Title: DEFlow: Deep Equilibrium Flow Maximum-Entropy Reinforcement Learning
• Title（参考訳）: DEFlow:Deep Equilibrium Flow Maximum-Entropy Reinforcement Learning
• Abstract要約: 我々は、明示的なオイラーサンプリングを暗黙的なオイラー積分に置き換える、深い平衡流政策であるDeFlowを紹介する。 我々は、暗黙的な微分と、最終行動密度の離散的な変化式を組み合わせ、ソルバ反復をバックプロパゲートすることなく、ソフトアクター・クリティック内での非政治訓練を可能にする。
• 参考スコア（独自算出の注目度）: 6.5450739713452215
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Expressive flow policies can represent multiple high-value actions, but sampling them with few integration steps while retaining tractable action densities remains challenging. We introduce DEFlow, a deep equilibrium flow policy that replaces explicit Euler sampling with implicit Euler integration and solves all intermediate actions jointly as an equilibrium system. We combine implicit differentiation with a discrete change-of-variables formula for the final-action density, enabling off-policy training within soft actor-critic without backpropagating through solver iterations. DEFlow achieves an average relative improvement of approximately 10% in mean successful coverage over the strongest baseline across four Multi-Goal docking variants. It also achieves the highest mean time-averaged return on four of five manipulation tasks, while remaining broadly competitive across five MuJoCo tasks. These results support implicit flow policies for tasks requiring both diversity and precision, at the cost of additional nonlinear and linear solves. Primary
• Abstract（参考訳）: 表現的フローポリシーは複数の高価値なアクションを表現できるが、抽出可能なアクション密度を維持しながら、少ない統合ステップでそれらをサンプリングすることは依然として困難である。 DeFlowは、明示的なオイラーサンプリングを暗黙のオイラー積分に置き換え、全ての中間動作を平衡系として一緒に解決する、深い平衡流政策である。 我々は、暗黙的な微分と、最終行動密度の離散的な変化式を組み合わせ、ソルバ反復をバックプロパゲートすることなく、ソフトアクター・クリティック内での非政治訓練を可能にする。 DEFlowは、4つのマルチゴールドッキングタイプで最強のベースラインに対して、平均して約10%の相対的な改善を実現している。 また、5つの操作タスクのうち4つのタスクで平均的な平均的なリターンを達成する一方で、5つのMuJoCoタスクで広範囲に競合する。 これらの結果は, 非線形および線形解のコストを犠牲にして, 多様性と精度の両方を必要とするタスクに対して, 暗黙のフローポリシーをサポートする。 初代

関連論文リスト

• Flowing Faster to Coordinate: One-Step Online Multi-Agent Flow Policies [41.73320924332022]
  マルチエージェント強化学習(MARL)は,環境とのインタラクションを通じて協調行動を学ぶための強力なフレームワークを提供する。 本稿では,一段階フローモデル(OMAF)を用いたオンラインMARLフレームワークを提案する。 OMAFは、ベースライン法に比べて最大3.4倍高いリターンと10.5倍のサンプル効率向上を継続的に達成している。
  論文  参考訳（メタデータ） (2026-10-01T15:36:31Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Q-Flow: Stable and Expressive Reinforcement Learning with Flow-Based Policy [51.31164293751206]
  Q-Flowは、フローダイナミクスの決定論的性質を利用して、ポリシーによって引き起こされるフローに沿って遅延状態を明確に伝播するフレームワークである。 OGBenchスイートのオフライン学習環境でのQ-Flowの評価では,最先端のベースラインを平均10.6ポイント上回っている。
  論文  参考訳（メタデータ） (2026-05-13T12:31:02Z)
• HiFlow: Tokenization-Free Scale-Wise Autoregressive Policy Learning via Flow Matching [11.405254375363818]
  階層フロー政策(Hierarchical Flow Policy)は、トークン化のない粗大な自己回帰政策である。 HiFlowは、単純な時間プーリングを通じて、各アクションチャンクからマルチスケールの連続的なアクションターゲットを構築する。 MimicGen、RoboTwin 2.0、および実環境の実験は、HiFlowが既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-28T14:22:58Z)
• FlowSteer: Interactive Agentic Workflow Orchestration via End-to-End Reinforcement Learning [49.369614288007334]
  FlowSteerは、エージェントと実行可能なキャンバス環境として軽量なポリシーモデルを採用する、エンドツーエンドの強化学習フレームワークである。 FlowSteerは様々なタスクでベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-02T05:30:42Z)
• One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
  ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。 本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
  論文  参考訳（メタデータ） (2025-11-17T06:34:17Z)
• AdaFlow: Imitation Learning with Variance-Adaptive Flow-Based Policies [21.024480978703288]
  本稿では,フローベース生成モデルに基づく模倣学習フレームワークであるAdaFlowを提案する。 AdaFlowは状態条件付き常微分方程式(ODE)によるポリシーを表す AdaFlowは高速な推論速度で高い性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T10:15:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。