論文の概要: Timestep Weighting: A Hidden Key to Effective ELBO-Based Flow-Matching RL

• arxiv url: http://arxiv.org/abs/2609.32665v2
• Date: Mon, 05 Oct 2026 05:02:16 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 20:24:40.791124
• Title: Timestep Weighting: A Hidden Key to Effective ELBO-Based Flow-Matching RL
• Title（参考訳）: Timestep Weighting: ELBOベースのフローマッチングRLの隠れキー
• Abstract要約: ELBOをベースとしたRLにおける時間ステップ重み付けの影響とダイナミクスについて検討する。 効果的な重み付けは報奨景観と学習段階の両方に依存していることを示す。
• 参考スコア（独自算出の注目度）: 11.629510190970505
• License:
• Abstract: ELBO-based reinforcement learning offers a sampler-agnostic approach to fine-tuning flow matching models with reward feedback. Timestep weighting in ELBO-based RL has large impact on performance, and it also provides a unified view (as we show in this work) to understand prediction losses heuristically chosen in prior work, yet it remains under-researched and is often chosen to inherit pretrain configs. We investigate impacts and dynamics of timestep weighting in ELBO-based RL. We show that effective weighting depends on both the reward landscape and stage of learning. (1) Through experiments on controlled CIFAR image generation, complemented by robotics, we investigate how weighting impacts reward-driven updates across noise levels. (2) Through gradient analysis, we reveal distinct patterns of cross-noise coordination across tasks and their evolution during training. These findings motivate the hypothesis that useful weighting depends on the gap between the policy's current behavior and the behavior favored by the reward. (3) Guided by this analysis, we study simple static weighting, budgeted profile selection, and dynamic schedules that improve performance beyond conventional target choices. Our results establish timestep weighting as an important design choice for flow-matching RL and motivate further research into methods that choose and adapt it throughout learning.
• Abstract（参考訳）: ELBOベースの強化学習は、報酬フィードバックを伴う微調整フローマッチングモデルに対するサンプル非依存のアプローチを提供する。 ELBOベースのRLの時間重み付けは、パフォーマンスに大きな影響を与え、また、事前の作業でヒューリスティックに選択された予測損失を理解するための統一されたビューも提供します。 ELBOをベースとしたRLにおける時間ステップ重み付けの影響とダイナミクスについて検討する。 効果的な重み付けは、報奨景観と学習段階の両方に依存することを示す。 1)ロボット工学を補完する制御型CIFAR画像生成実験を通じて,重み付けが雑音レベル全体の報酬駆動更新に与える影響について検討した。 2) 勾配解析を通して, タスク間のクロスノイズ協調のパターンと, トレーニング中の進化を明らかにする。 これらの知見は、有用な重み付けは、政策の現在の行動と報酬が好む行動のギャップに依存するという仮説を動機付けている。 (3) この分析により, 簡易な静的重み付け, 予算化されたプロファイル選択, 動的スケジュールについて検討した。 この結果は,フローマッチングRLの重要な設計選択としてタイムステップ重み付けを確立し,学習を通してそれを選択,適応する手法のさらなる研究を動機付けている。

関連論文リスト

• Dynamics-Predictive Sampling for Active RL Finetuning of Large Reasoning Models [49.04912820721943]
  強化学習(RL)ファインタニングは,大規模言語モデル(LLM)の推論能力を高める重要な手法となっている。 近年の進歩は、部分的に解決されたり、適度に難しい例にトレーニングを集中させるオンラインプロンプト選択手法の重要性を浮き彫りにしている。 本研究はDPS(Dynamics-Predictive Smpling)を提案する。DPS(Dynamics-Predictive Smpling)は,コストのかかるロールアウトに先立って,学習ダイナミクスを推定して情報的プロンプトを予測し,選択する。
  論文  参考訳（メタデータ） (2026-03-11T15:31:14Z)
• Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
  我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。 我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。 その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
  論文  参考訳（メタデータ） (2025-02-20T18:39:41Z)
• AdaWM: Adaptive World Model based Planning for Autonomous Driving [34.57859869929471]
  世界モデルに基づく強化学習(RL)が自律運転の有望なアプローチとして登場した。 プレトレイン-ファイントゥンパラダイムは、オンラインRLが事前訓練されたモデルによってパフォーマンスされ、オフラインで学習されるポリシーで使用されることが多い。 本稿では,アダプティブ・ワールド・モデルに基づく計画手法であるAdaWMを紹介する。(a)ミスマッチを定量化し,微調整戦略を通知するミスマッチ識別と,(b)ポリシーやモデルを必要に応じて選択的に更新するアライメント駆動微調整である。
  論文  参考訳（メタデータ） (2025-01-22T18:34:51Z)
• REACT: Revealing Evolutionary Action Consequence Trajectories for Interpretable Reinforcement Learning [7.889696505137217]
  強化学習の解釈可能性を高めるために,Revealing Evolutionary Action Consequence Trajectories (REACT)を提案する。 トレーニング中に学習した最適な振る舞いに基づくRLモデルの一般的な実践とは対照的に、エッジケースの軌跡の範囲を考慮すると、それらの固有の振る舞いをより包括的に理解することができると仮定する。 本研究は,RLモデルの動作の微妙な側面を最適性能を超えて明らかにし,解釈可能性の向上に寄与することを示す。
  論文  参考訳（メタデータ） (2024-04-04T10:56:30Z)
• Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration [15.463313629574111]
  本稿では,連続制御タスクにおけるサンプル効率の高い探索手法について検討する。 本稿では,予測モデルと非政治学習要素を組み込んだRLアルゴリズムを提案する。 パラメーターのオーバーヘッドを発生させずに本質的な報酬を導き出す。
  論文  参考訳（メタデータ） (2024-03-31T11:39:11Z)
• Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
  クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。 本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。 提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
  論文  参考訳（メタデータ） (2022-06-07T13:51:35Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。