Fugu-MT 論文翻訳(概要): Value-Rectified Distillation for Flow-based Offline Reinforcement Learning

論文の概要: Value-Rectified Distillation for Flow-based Offline Reinforcement Learning

arxiv url: http://arxiv.org/abs/2610.29075v1
Date: Wed, 21 Oct 2026 01:58:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 09:50:43.226689
Title: Value-Rectified Distillation for Flow-based Offline Reinforcement Learning
Title（参考訳）: フローベースオフライン強化学習のための値修正蒸留法
Abstract要約: オフライン強化学習におけるフローマッチングに基づく行動ポリシーを蒸留する場合のアウト・オブ・ディストリビューションモード平均化は問題である。本稿では, オフライン政策蒸留を価値誘導型生成軌道アライメント問題として再構成する新しいフレームワークであるValue-Rectified Distillation (VRD)を提案する。
参考スコア（独自算出の注目度）: 23.313730667307684
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We aim to address the problem of Out-of-Distribution (OOD) Mode Averaging, a critical problem that emerges when distilling Flow Matching (FM) based behavior policies in offline Reinforcement Learning (RL): When learning over multi-modal datasets, standard distillation inadvertently forces the policy to interpolate across different behavioral modes, causing the generated actions to collapse into invalid, OOD regions. To resolve this, we propose Value-Rectified Distillation (VRD), a novel framework that reformulates offline policy distillation as a value-guided generative trajectory alignment problem. By employing a dynamic coupling mechanism, VRD actively rectifies flow dynamics to explicitly decouple distinct behavioral modes, cleanly isolating high-value actions. Specifically, we instantiate VRD through two complementary algorithms: VRD-Q, which utilizes value-quantile behavior distillation to statistically filter out low-value behaviors, and VRD-R, which reorganizes the latent space to geometrically isolate high-value generative trajectories from the FM-based behavior policy. Extensive empirical evaluations demonstrate that VRD improves existing generative baselines across diverse continuous control and planning tasks on the D4RL, OGBench, and Minari benchmarks, especially over those multi-modal, non-expert datasets.
Abstract（参考訳）: フローマッチング(FM)に基づくオフライン強化学習(RL:Reinforcement Learning)において,フローマッチング(FM)に基づく行動ポリシーを蒸留する場合に発生する重要な問題であるOODモード平均化(Out-of-Distriion)の問題に対処することを目的としている。これを解決するために, オフライン政策蒸留を価値誘導型生成軌道アライメント問題として再構成する新しいフレームワークであるValue-Rectified Distillation (VRD)を提案する。動的結合機構を利用することで、VRDはフローダイナミクスを積極的に修正し、異なる動作モードを明確に分離し、高価値なアクションをきれいに分離する。具体的には,2つの相補的アルゴリズムを用いてVRDをインスタンス化する: 価値量子行動蒸留を用いて低値な振る舞いを統計的にフィルタリングするVRD-Qと,潜在空間を再編成してFMベースの行動ポリシーから高値な生成軌道を幾何学的に分離するVRD-Rである。大規模な実験的な評価により、VRDはD4RL、OGBench、Minariベンチマークの様々な連続的な制御および計画タスク、特にこれらのマルチモーダルな非専門家データセットにおいて、既存の生成ベースラインを改善することが示されている。

関連論文リスト

IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
論文参考訳（メタデータ） (2026-08-11T08:20:02Z)
Reversal Q-Learning [57.43956630070019]
逆Q-ラーニング(Reversal Q-learning)は、事前データに基づいてフローポリシーをトレーニングする、非政治的なRLアルゴリズムである。 RQLは、最先端のフローベースオフラインRLアルゴリズムと比較して、平均的なオフラインRLパフォーマンスをもたらすことを示す。
論文参考訳（メタデータ） (2026-06-16T05:56:10Z)
From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
論文参考訳（メタデータ） (2026-01-28T09:29:40Z)
Diffusion Policies with Value-Conditional Optimization for Offline Reinforcement Learning [11.523827300607541]
本稿では,Deffusion Policy with Value-conditional Optimization (DIVO)を提案する。 DIVOは、効率的な政策改善を促進しつつ、高品質で広範囲に分布する状態-作用サンプルを生成する。 D4RLベンチマーク上でDIVOを評価し、最先端のベースラインと比較する。
論文参考訳（メタデータ） (2025-11-12T02:59:07Z)
Double Check My Desired Return: Transformer with Target Alignment for Offline Reinforcement Learning [64.6334337560557]
教師付き学習(RvS)による強化学習は、シーケンスモデリングタスクとしてオフラインRLをフレーム化する。決定変換器(DT)は、実際の完了したリターンを特定のターゲットリターンと確実に整合させるのに苦労する。そこで我々は,Offline RLの目標アライメントによる変換器の二重チェックを行う新しいアプローチであるDoctorを提案する。
論文参考訳（メタデータ） (2025-08-22T14:30:53Z)
Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
論文参考訳（メタデータ） (2025-05-09T11:42:31Z)
Diffusion Policies for Out-of-Distribution Generalization in Offline Reinforcement Learning [1.7205106391379026]
近年の拡散政策における状態再構成特徴学習を取り入れた新しい手法を提案する。本手法は,OOD状態による分散シフトを軽減するために,一般化可能な状態表現の学習を促進する。
論文参考訳（メタデータ） (2023-07-10T17:34:23Z)
Offline Reinforcement Learning with Adaptive Behavior Regularization [1.491109220586182]
オフライン強化学習(RL)は、静的で以前に収集されたデータセットからポリシーを学習する、サンプル効率のよい学習パラダイムを定義する。適応行動正規化(Adaptive Behavior regularization, ABR)と呼ばれる新しい手法を提案する。 ABRは、データセットの生成に使用するポリシーのクローン化と改善の間に、ポリシーの最適化目標を適応的に調整することを可能にする。
論文参考訳（メタデータ） (2022-11-15T15:59:11Z)
Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
論文参考訳（メタデータ） (2022-10-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。