論文の概要: Score-Calibrated Flow for Sampling from Unnormalized Densities with Applications to Generative Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.04696v1
• Date: Sat, 03 Oct 2026 18:18:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 17:39:45.022493
• Title: Score-Calibrated Flow for Sampling from Unnormalized Densities with Applications to Generative Online Reinforcement Learning
• Title（参考訳）: 非正規化密度からのサンプリングのためのスコア校正フローとオンライン強化学習への応用
• Abstract要約: 拡散流モデルとフローモデルはオンライン強化学習(RL)のための表現型ポリシークラスを提供する 本研究では,非正規化密度から標本化するための生成モデルの簡易かつ効率的な学習アルゴリズムであるScore-Calibrated Flow (SCF)を提案する。 RLベンチマークの実験は、SCFが最先端のジェネレーティブ・ポリティクス・ベースラインと一致または改善することを示した。
• 参考スコア（独自算出の注目度）: 24.094379447340696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion and flow models provide expressive policy classes for online reinforcement learning (RL), enabling multimodal behaviors and improved performance. However, training these policies remains challenging: the critic specifies the desired policy as an unnormalized Boltzmann density but does not provide direct samples from it. Many existing methods rely on importance sampling to construct training signals, which can suffer from high variance, increasing computational cost and destabilizing training. We propose Score-Calibrated Flow (SCF), a simple and efficient algorithm for training generative models to sample from unnormalized densities without importance sampling or backpropagation through the sampling trajectory. We learn the desired flow by enforcing self-consistency, bypassing target posterior mean estimation. By jointly exploiting the prescribed target score and the structure of flow matching, we establish these self-consistency requirements as score-calibrated optimality conditions, first for the terminal density and then for the trainable velocity field. We prove that their unique solutions are, respectively, the target density and the ideal flow model that conditional flow matching (CFM) would recover if target samples were available. We formulate the velocity condition as a fixed-point equation and exploit its conditional-expectation structure to construct a stop-gradient objective for enforcing it. The resulting training procedure retains the scalable sample-interpolate-regress structure of CFM despite the absence of target samples, using endpoints generated by the current flow. For online RL, the critic gradient supplies the target score at the generated actions, yielding a direct approach to actor training. Experiments on RL benchmarks demonstrate that SCF matches or improves upon state-of-the-art generative-policy baselines, while substantially reducing training time.
• Abstract（参考訳）: 拡散とフローモデルは、オンライン強化学習(RL)のための表現力のあるポリシークラスを提供し、マルチモーダルな振る舞いを可能にし、性能を向上させる。 しかし、これらの政策の訓練は依然として困難であり、批評家は望まれる方針を非正規化ボルツマン密度として規定するが、そこから直接のサンプルは提供しない。 既存の多くの手法は、高い分散、計算コストの増大、トレーニングの不安定化に苦しむ訓練信号を構築するために重要サンプリングに依存している。 本研究では,非正規化密度から標本を抽出するための簡易かつ効率的なアルゴリズムであるScore-Calibrated Flow (SCF)を提案する。 我々は,自己整合性を強制し,対象の後方平均推定をバイパスすることで,所望の流れを学習する。 所定目標スコアとフローマッチングの構造を併用することにより,これらの自己整合性要件を,まず端末密度に対して,次にトレーニング可能な速度場に対して,スコア校正最適条件として確立する。 対象試料が利用可能であれば, 条件付きフローマッチング (CFM) が回復する, ターゲット密度と理想フローモデルがそれぞれ独自の解であることを証明した。 固定点方程式として速度条件を定式化し、その条件-観測構造を利用して、その実施のための停止-漸進的な目的を構築する。 結果として得られたトレーニング手順は、現在の流れによって生成されたエンドポイントを使用して、ターゲットサンプルが存在しないにもかかわらず、CFMのスケーラブルなサンプル-インターポレート-回帰構造を保持する。 オンラインRLでは、批評家のグラデーションが生成されたアクションの目標スコアを供給し、アクターのトレーニングに直接的なアプローチをもたらす。 RLベンチマークの実験では、SCFは最先端のジェネレーティブ・ポリティクスのベースラインと一致または改善し、トレーニング時間を大幅に短縮することを示した。

関連論文リスト

• Curvature-Adaptive Consistency Flow Matching: Autonomous Trajectory Optimization via Reinforcement Learning [8.422673935994451]
  連続蒸留は拡散モデルの推論を 著しく加速させました 本稿では,静的サンプリングの限界に対処するため,曲率適応整合フローマッチングを提案する。 提案手法は,FLUXやSDXLといった大規模モデルに対して,最新の結果を実現する。
  論文  参考訳（メタデータ） (2026-06-21T08:49:50Z)
• Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning [16.158545640309438]
  我々は勾配流学習のための統計的推論フレームワークを開発した。 トレーニング時間は、分散が再配置される方法を決定する分散成分パラメータになる。 固定勾配系における深層学習モデルは、理論の現代AIインスタンス化を提供する。
  論文  参考訳（メタデータ） (2026-05-27T05:32:24Z)
• Score-Based One-step MeanFlow Policy Optimization [4.94481688445056]
  MeanFlowは、単一のネットワーク評価でノイズをデータにマップする平均速度場を学ぶことで、有望な代替手段を提供する。 本稿では,Q関数から直接目標速度場を構築することで,これを解決するアクタークリティカルなアルゴリズムであるScore-based One-step MeanFlow Policy Optimization (SOM)を提案する。 SOMは、単一生成ステップで移動タスクの最先端のパフォーマンスを達成し、事前拡散およびフローマッチングベースのポリシーと比較して、トレーニング時間と推論時間を著しく短縮する。
  論文  参考訳（メタデータ） (2026-05-22T08:28:51Z)
• TFTF: Training-Free Targeted Flow for Conditional Sampling [1.4151684142137693]
  重要度サンプリングに基づくフローマッチングモデルのための訓練不要条件付きサンプリング手法を提案する。 重要サンプリングのネーブ適用は高次元環境における重み付けに苦しむため, 連続モンテカルロにおける再サンプリング手法を改良し, 取り入れる。 私たちのフレームワークは、理論上の正確性を確保しながら、追加のトレーニングを必要としません。
  論文  参考訳（メタデータ） (2026-02-13T13:41:35Z)
• Reverse Flow Matching: A Unified Framework for Online Reinforcement Learning with Diffusion and Flow Policies [4.249024052507976]
  本稿では, 直接的対象サンプルを使わずに, 拡散・流動モデルの訓練問題に厳密に対処する, 逆流マッチング (RFM) の統一フレームワークを提案する。 逆推論の観点を採用することで、中間雑音サンプルが与えられた後部平均推定問題としてトレーニング対象を定式化する。 このクラスでは,既存の雑音予測法と勾配探索法が2つの具体例であることを示す。
  論文  参考訳（メタデータ） (2026-01-13T01:58:24Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Efficient Regression-Based Training of Normalizing Flows for Boltzmann Generators [85.25962679349551]
  ボルツマン・ジェネレータ(BG)は効率的なサンプリングと可能性を提供するが、最大可能性によるトレーニングはしばしば不安定であり、計算的に困難である。 本稿では,従来の最大値トレーニングの数値不安定性と計算課題を回避し,新しい,スケーラブルなトレーニング目標である正規化フローの回帰トレーニングを提案する。
  論文  参考訳（メタデータ） (2025-06-01T20:32:27Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。