論文の概要: From Suboptimal to Optimal: One-Step Latent Flow Policies for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.16984v1
• Date: Mon, 12 Oct 2026 15:41:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.400271
• Title: From Suboptimal to Optimal: One-Step Latent Flow Policies for Offline Reinforcement Learning
• Title（参考訳）: 準最適から最適へ:オフライン強化学習のためのワンステップ潜流法
• Abstract要約: MeanFlow2Better (MF2B)は、環境の相互作用なしに、固定データセットからポリシーを学習する。 MF2Bは、トラジェクトリチャンクをエンコーダを通して高レベル遅延決定表現にマッピングする。 D4RL の Gym-MuJoCo ベンチマークでは、MF2B は90.91 のスコアを達成し、強いベースラインにマッチまたは超える。
• 参考スコア（独自算出の注目度）: 12.660232134779243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline reinforcement learning aims to learn effective policies from fixed datasets without environment interaction. Although generative models such as diffusion and flow matching enhance policy expressiveness, they typically start from uninformative Gaussian noise and generate actions through multi-step iteration, leading to high computational costs and failing to effectively leverage suboptimal trajectories in datasets. We propose MeanFlow2Better (MF2B), which reformulates offline RL as generative decision chunk optimization from current performance status to better performance status in a high-level latent decision space. MF2B maps trajectory chunks to high-level latent decision representations through an encoder, placing generation starting points within a structured decision space sculpted by behavioral data. The model learns a shared conditional mean velocity field in this space, constructing two flow mappings: from Gaussian-Induced Decision Sources toward positive behavioral decision regions, and from suboptimal decisions toward high-value decision regions. Both flow mappings complete decision refinement through one-step ODE integration over the unit time interval $Δt=1$, requiring neither multi-step iterative sampling nor backpropagation through time. Furthermore, we propose hierarchical chunk-level advantage to guide the flow direction toward high-return regions, where the high-level decisions cover multiple low-level actions, leading to sequence length compression from $T$ to $K \approx T/H$ and significantly lower computational overhead. On the D4RL Gym-MuJoCo benchmark, MF2B achieves an average score of 90.91, matching or surpassing strong baselines.
• Abstract（参考訳）: オフライン強化学習は、環境相互作用のない固定データセットから効果的なポリシーを学ぶことを目的としている。 拡散やフローマッチングのような生成モデルはポリシー表現性を高めるが、通常、非形式的なガウスノイズから始まり、多段階反復を通してアクションを生成する。 本稿では, オフラインRLを生成的決定チャンク最適化として, 現在の性能状態から, 高レベルの遅延決定空間における性能状態へ変換するMeanFlow2Better (MF2B)を提案する。 MF2Bは、軌跡チャンクをエンコーダを介して高レベル遅延決定表現にマッピングし、行動データによって彫刻された構造化決定空間内に生成開始点を配置する。 このモデルは、この空間における共有条件平均速度場を学習し、ガウス誘導決定源から正の行動決定領域への2つのフローマッピングと、超最適決定から高値決定領域への2つのフローマッピングを構築する。 両方のフローマッピングは、単位時間間隔$Δt=1$の1ステップODE統合による完全な決定の洗練を図り、複数ステップの反復サンプリングも時間によるバックプロパゲーションも必要としない。 さらに,高レベル決定が複数の低レベル動作をカバーし,シーケンス長の圧縮が$T$から$K \approx T/H$に短縮され,計算オーバーヘッドが大幅に低減されるような,高リターン領域へのフロー方向を導出する階層的チャンクレベルの優位性を提案する。 D4RL の Gym-MuJoCo ベンチマークでは、MF2B は90.91 のスコアを達成し、強いベースラインにマッチまたは超える。

関連論文リスト

• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• Beyond Static Best-of-N: Bayesian List-wise Alignment for LLM-based Recommendation [23.95623437107717]
  大規模言語モデルは、ユーザ好みをモデル化するための生成機能を活用することで、レコメンデーションシステム(LLM4Rec)に革命をもたらした。 既存のLLM4Recメソッドはトークンレベルの目的に依存しており、実際のレコメンデーション品質を定義するリストレベルと非微分可能なメトリクスを最適化することは困難である。 我々はこれらの課題を克服するためにBLADE (Bayesian List-wise Alignment via Dynamic Estimation)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T07:02:57Z)
• PARM: Pipeline-Adapted Reward Model [60.769414637325326]
  リワードモデル(RM)は、大規模言語モデル(LLM)を人間の好みと整合させることの中心であり、高度な復号化戦略を推進している。 これまでの作業はシングルステップ生成に重点を置いていたが、現実のアプリケーションはますますマルチステージパイプラインを採用するようになっている。 我々は、最適化のためのコード生成を通じてこれを調査し、報酬モデルを定式化とソリューション段階の両方に統合するパイプラインを構築する。
  論文  参考訳（メタデータ） (2026-04-20T14:29:08Z)
• Fisher Decorator: Refining Flow Policy via A Local Transport Map [22.885775277923106]
  フローベースオフライン強化学習(RL)は,フローマッチングによるポリシのパラメータ化によって,高い性能を実現している。 既存のフローポリシーは、2-ワッサーシュタイン距離(W$)の上限として$L$正規化を解釈する。 行動ポリシー多様体は本質的に異方性を持ち、$L$正規化は等方性と密度非感性である。 誘導密度変換を解析することにより、フィッシャー情報行列が支配するKL制約対象の局所2次近似を導出する。
  論文  参考訳（メタデータ） (2026-04-20T07:54:36Z)
• Stochastic Approximation Methods for Distortion Risk Measure Optimization [2.97238992700289]
  本稿では2つの双対表現に基づくDRM最適化の降下アルゴリズムを提案する。 DM形式は3時間スケールのアルゴリズムを用いて量子関数を追跡し、勾配を計算し、決定変数を更新する。 QF形式はより単純な2時間スケールのアプローチを提供し、複雑な量子的勾配推定を必要としない。
  論文  参考訳（メタデータ） (2025-10-06T07:59:09Z)
• OM2P: Offline Multi-Agent Mean-Flow Policy [40.346958259814514]
  我々は,OM2P(Offline Multi-Agent Mean-Flow Policy)を提案する。 OM2Pは、最大3.8倍のGPUメモリ使用量を削減し、トレーニング時間の最大10.8倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-08-08T12:38:56Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
  制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。 本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。 現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。