論文の概要: FLAG: Flow Policy MaxEnt-RL by Latent Augmented Guidance

• arxiv url: http://arxiv.org/abs/2605.30749v1
• Date: Fri, 29 May 2026 02:25:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.344337
• Title: FLAG: Flow Policy MaxEnt-RL by Latent Augmented Guidance
• Title（参考訳）: FLAG:Flow Policy MaxEnt-RL by Latent Augmented Guidance
• Abstract要約: FLAG(textbfLatent-textbfAugmented textbfGuidanceによるtextbfFlowポリシー)を導入する。 FLAGは、限られた重要サンプルと高次元制御タスクへのスケールで表現力のあるポリシー最適化を可能にする。
• 参考スコア（独自算出の注目度）: 20.708304655938438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maximum entropy reinforcement learning (MaxEnt-RL) enables robust exploration, yet practical implementations often restrict policies to simple Gaussians. While recent approaches incorporate expressive generative policies via importance-weighted supervised learning, they are prone to importance weight collapse, which limits their scalability in high-dimensional action spaces. Our key insight is to mitigate this limitation by localizing the sampling region, avoiding the weight degeneracy induced by importance sampling over the entire action space. To instantiate this insight, we introduce \textbf{FLAG} (\textbf{F}low policy with \textbf{L}atent-\textbf{A}ugmented \textbf{G}uidance). FLAG augments the state space with a flow latent variable and optimizes a provably consistent proxy MaxEnt-RL objective. We empirically demonstrate that FLAG enables expressive policy optimization with limited importance samples and scales to high-dimensional control tasks. Furthermore, FLAG achieves state-of-the-art performance across challenging benchmarks. Our project webpage: https://flag-rl.github.io/
• Abstract（参考訳）: 最大エントロピー強化学習(MaxEnt-RL)は、堅牢な探索を可能にするが、実用的な実装はしばしば単純なガウスにポリシーを制限する。 近年のアプローチでは、重み付けされた教師付き学習による表現的生成ポリシーが取り入れられているが、重み付けの崩壊が重み付けされやすく、高次元の行動空間におけるスケーラビリティが制限されている。 我々の重要な洞察は、この制限をサンプリング領域の局所化によって緩和し、アクション空間全体の重要サンプリングによって引き起こされる重量縮退を回避することである。 この知見をインスタンス化するために、 \textbf{FLAG} (\textbf{L}atent-\textbf{A}ugmented \textbf{G}uidance) というポリシーを導入する。 FLAGはフロー遅延変数で状態空間を拡張し、証明可能な一貫性のあるプロキシMaxEnt-RLの目的を最適化する。 FLAGは,重要度に制限されたサンプルと高次元制御タスクへのスケールで,表現的ポリシー最適化を可能にすることを実証的に実証した。 さらに、FLAGは挑戦的なベンチマークで最先端のパフォーマンスを達成する。 プロジェクトのWebページ: https://flag-rl.github.io/

関連論文リスト

• Revisiting Topological Graphs for Macro Action based Closed-loop Reinforcement Learning of Vision Language Navigation in Continuous Environment [24.27274618177781]
  VLN-CE (Vision-Language Navigation in Continuous Environments) は、エージェントが見えない環境を通して自然言語の指示に従う必要がある。 我々は、VLN-CEを階層的マルコフ決定プロセス(MDP)として再構成し、低レベル制御から高レベル計画を明確に分離する。 本モデルはR2R-CEベンチマークとRxR-CEベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-09-03T14:24:29Z)
• Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR [53.27792011950384]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善するためのスケーラブルなパラダイムとして登場した。 我々は、RLVRにおける構造化及び多様性駆動探索のためのフレームワークであるNudgeRLを提案する。 当社のアプローチでは,各ロールアウトを,軽量で戦略レベルのコンテキストに設定するストラテジーナッジを導入しています。
  論文  参考訳（メタデータ） (2026-05-15T08:22:59Z)
• LaST-R1: Reinforcing Robotic Manipulation via Adaptive Physical Latent Reasoning [90.86828952599147]
  提案するLaST-R1(LaST-R1)は,「最近の推論・行動」政策を活用するために設計された,新しい強化学習フレームワークである。 LaST-R1 は LIBERO ベンチマークで 99.9% の平均成功率を達成した。 実世界の展開では、LaST-R1はSOTAが監督する微調整アプローチよりも22.5%平均的に改善されている。
  論文  参考訳（メタデータ） (2026-04-30T17:59:52Z)
• Boosting Maximum Entropy Reinforcement Learning via One-Step Flow Matching [8.665369041430969]
  Flow Matching(FM)はワンステップ生成を可能にするが、Entropy Reinforcement Learning(MaxEnt RL)に統合することは難しい。 我々はこれらの課題に対処する原則的フレームワークである textbfFlow ベースの textbfLog-likelihood-textbfAware textbfMaximum textbfEntropy RL (textbfFLAME) を提案する。
  論文  参考訳（メタデータ） (2026-02-02T03:54:11Z)
• Beyond Alignment: Expanding Reasoning Capacity via Manifold-Reshaping Policy Optimization [1.974921946982281]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLM)の推論能力の向上に成功している。 近年の研究では、RLが推論能力を真に拡張するか、あるいは既存の潜在能力を単に整合させるかが疑問視されており、探索は事前訓練されたモデルの低ランクバイアス多様体に限られていると主張している。 我々は,LLMの推論空間を根本的に再構成する幾何学的フレームワークであるマニフォールド変換ポリシー最適化(MRPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T05:38:44Z)
• The Flexibility Trap: Why Arbitrary Order Limits Reasoning Potential in Diffusion Language Models [67.58848748317506]
  拡散大言語モデル(dLLM)は、従来のLLMの厳格な左から右への制約を破る。 本稿では,dLLMsの推論境界を広げるよりも,任意の順序生成を現在の形式で狭くするという,直感に反する現実を明らかにする。
  論文  参考訳（メタデータ） (2026-01-21T16:41:58Z)
• Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models [53.339700196282905]
  大きな言語モデル(dLLM)に強化学習を適用する上で重要な課題は、その可能性関数の抽出性である。 本稿では,ELBOに基づく目的の特別に構築された下界を最大化するメモリ効率のRLアルゴリズムを提案する。 実験によると、BGPOは数学の問題解決、コード生成、計画タスクにおいて、dLLMの以前のRLアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-10-13T17:47:50Z)
• Massively Scaling Explicit Policy-conditioned Value Functions [16.387595437722613]
  本稿では,EPVF(Explicit Policy-Conditioned Value Function)のスケーリング戦略を紹介する。 EPVFは、ポリシーパラメータに明示的に条件付けされた値関数 V(theta) を学習し、任意のポリシーパラメータを直接勾配ベースの更新を可能にする。 EPVFは、カスタムAnt環境のような複雑なタスクを解くためにスケールでき、最先端のDeep Reinforcement Learning(DRL)ベースラインと競合することができる。
  論文  参考訳（メタデータ） (2025-02-17T16:02:54Z)
• Maximum Entropy Reinforcement Learning with Diffusion Policy [24.889485955864547]
  本稿では,MaxEnt RLの目的を満たすためのポリシー表現として,複雑なマルチモーダル分布をキャプチャ可能な強力な生成モデルである拡散モデルを用いる。 提案手法により,効率的な探索が可能となり,最適なMaxEntポリシーに近づいた。
  論文  参考訳（メタデータ） (2025-02-17T09:55:58Z)
• Action abstractions for amortized sampling [49.384037138511246]
  本稿では、政策最適化プロセスに行動抽象化(高レベルの行動)の発見を組み込むアプローチを提案する。 我々のアプローチでは、多くの高次軌道にまたがってよく使われるアクション列を反復的に抽出し、それらをアクション空間に追加する単一のアクションにチャンキングする。
  論文  参考訳（メタデータ） (2024-10-19T19:22:50Z)
• Task-Specific Directions: Definition, Exploration, and Utilization in Parameter Efficient Fine-Tuning [65.31677646659895]
  大規模な言語モデルは、下流タスクで素晴らしいパフォーマンスを示すが、全てのパラメータを完全に微調整する場合は、リソース消費がかなり必要である。 本稿では,タスク固有の方向(TSD)を明確に定義するフレームワークを提案し,その特性と実用化の課題について検討する。 次に、微調整過程におけるTLDの影響を最大化する新しいアプローチであるLoRA-Dashを導入する。
  論文  参考訳（メタデータ） (2024-09-02T08:10:51Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Successor Feature Landmarks for Long-Horizon Goal-Conditioned Reinforcement Learning [54.378444600773875]
  大規模で高次元の環境を探索するフレームワークであるSFL(Successor Feature Landmarks)を紹介する。 SFLは、状態のノベルティを推定して探索を推進し、状態空間を非パラメトリックなランドマークベースのグラフとして抽象化することで、高レベルな計画を可能にする。 我々は,MiniGrid と ViZDoom の実験において,SFL が大規模高次元状態空間の効率的な探索を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-11-18T18:36:05Z)
• Deep Reinforcement Learning with Robust and Smooth Policy [90.78795857181727]
  我々は、国家に対して円滑に振る舞う円滑な政策を学ぶことを提案する。 textbfSmooth textbfRegularized textbfReinforcement textbfLearning(textbfSR2textbfL$)という新しいフレームワークを開発し、スムーズな正規化によってポリシーを訓練する。 このような正規化は、探索空間を効果的に制限し、学習ポリシーの滑らかさを強制する。
  論文  参考訳（メタデータ） (2020-03-21T00:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。