論文の概要: ReFORM: Reflected Flows for On-support Offline RL via Noise Manipulation

• arxiv url: http://arxiv.org/abs/2602.05051v1
• Date: Wed, 04 Feb 2026 21:03:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.61796
• Title: ReFORM: Reflected Flows for On-support Offline RL via Noise Manipulation
• Title（参考訳）: リフォーム:ノイズマニピュレーションによるオフラインRLの反射流
• Authors: Songyuan Zhang, Oswin So, H. M. Sabbir Ahmad, Eric Yang Yu, Matthew Cleaveland, Mitchell Black, Chuchu Fan,
• Abstract要約: オフライン強化学習(RL)は、環境の相互作用を伴わずに行動ポリシーによって生成された固定データセットから最適なポリシーを学ぶことを目的としている。 構築による制約の少ないサポート制約を強制するフローポリシーに基づくオフラインRL手法であるReFORMを提案する。
• 参考スコア（独自算出の注目度）: 20.162114513881118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline reinforcement learning (RL) aims to learn the optimal policy from a fixed dataset generated by behavior policies without additional environment interactions. One common challenge that arises in this setting is the out-of-distribution (OOD) error, which occurs when the policy leaves the training distribution. Prior methods penalize a statistical distance term to keep the policy close to the behavior policy, but this constrains policy improvement and may not completely prevent OOD actions. Another challenge is that the optimal policy distribution can be multimodal and difficult to represent. Recent works apply diffusion or flow policies to address this problem, but it is unclear how to avoid OOD errors while retaining policy expressiveness. We propose ReFORM, an offline RL method based on flow policies that enforces the less restrictive support constraint by construction. ReFORM learns a behavior cloning (BC) flow policy with a bounded source distribution to capture the support of the action distribution, then optimizes a reflected flow that generates bounded noise for the BC flow while keeping the support, to maximize the performance. Across 40 challenging tasks from the OGBench benchmark with datasets of varying quality and using a constant set of hyperparameters for all tasks, ReFORM dominates all baselines with hand-tuned hyperparameters on the performance profile curves.
• Abstract（参考訳）: オフライン強化学習(RL)は、環境の相互作用を伴わない行動ポリシーによって生成される固定されたデータセットから最適なポリシーを学習することを目的としている。 この設定でよくある課題は、ポリシーがトレーニング分布を離れるときに発生するOOD(out-of-distriion)エラーである。 従来の手法では、政策を行動方針に近づけるために統計的距離の項を罰するが、これは政策改善を制約し、OODの行動を完全に阻止するものではない。 もう1つの課題は、最適ポリシー分布がマルチモーダルであり、表現が難しいことである。 近年の研究では, この問題に対処するために拡散政策や流路政策が適用されているが, 政策表現性を保ちながらOODエラーを回避する方法が不明である。 構築による制約の少ないサポート制約を強制するフローポリシーに基づくオフラインRL手法であるReFORMを提案する。 ReFORMは、動作分布の支持を捉えるために、バウンドソース分布を持つ動作クローニング(BC)フローポリシーを学び、その後、BCフローのバウンドノイズを生成しながらBCフローのバウンドノイズを生成する反射流を最適化し、性能を最大化する。 さまざまな品質のデータセットと、すべてのタスクに一定セットのハイパーパラメータを使用するOGBenchベンチマークによる40の課題タスクに対して、Reformは、パフォーマンスプロファイル曲線上で手動のハイパーパラメータですべてのベースラインを支配している。

関連論文リスト

• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• DiffPoGAN: Diffusion Policies with Generative Adversarial Networks for Offline Reinforcement Learning [22.323173093804897]
  オフライン強化学習は、環境と対話することなく、事前にコンパイルされたオフラインデータセットから最適なポリシーを学ぶことができる。 最近の研究はGAN(Generative Adversarial Network)を用いてこの問題に対処している。 拡散にインスパイアされたDiffusion Policies with Generative Adversarial Networks (DiffPoGAN) という新しいオフラインRL手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T13:15:40Z)
• Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching [109.5084863685397]
  オフライン模倣学習(IL)は、環境と相互作用することなく、事前にコンパイルされたデモからパフォーマンスポリシーを学習する機能を提供する。 非対称な f-分割を明示的なサポート正規化に用いたRelaxDICEを提案する。 提案手法は,6つの標準連続制御環境において,最上位のオフライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-03-05T03:35:11Z)
• Improving TD3-BC: Relaxed Policy Constraint for Offline Learning and Stable Online Fine-Tuning [7.462336024223669]
  主な課題は、データに存在しないアクションに対する過大評価バイアスを克服することである。 このバイアスを減らすための簡単な方法は、行動的クローニング(BC)を通じてポリシー制約を導入することである。 私たちは、BCコンポーネントの影響を減らしながら、ポリシーをオフラインでトレーニングし続けることで、洗練されたポリシーを作成できることを実証します。
  論文  参考訳（メタデータ） (2022-11-21T19:10:27Z)
• Offline RL With Realistic Datasets: Heteroskedasticity and Support Constraints [82.43359506154117]
  非均一な変数を持つデータから、典型的なオフライン強化学習手法が学習できないことを示す。 提案手法は,Atariゲーム,ナビゲーション,ピクセルベースの操作において,多種多様なオフラインRL問題にまたがる性能向上を図っている。
  論文  参考訳（メタデータ） (2022-11-02T11:36:06Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。