Fugu-MT 論文翻訳(概要): Drift Q-Learning

論文の概要: Drift Q-Learning

arxiv url: http://arxiv.org/abs/2606.00350v1
Date: Fri, 29 May 2026 20:42:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-02 21:34:28.306861
Title: Drift Q-Learning
Title（参考訳）: ドリフトQ-ラーニング
Abstract要約: ドリフトベースの行動正規化器と批判駆動型ポリシー改善を組み合わせたDriftQLを提案する。値信号は、データサポートの高価値領域に対するポリシーをバイアスし、アトラクションと反発は共にデータの近くで生成されたアクションを保持する。 D4RLとOGBenchでは、DriftQLは拡散とフローメソッドよりも一貫して優れています。
参考スコア（独自算出の注目度）: 18.076463313217175
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Offline reinforcement learning requires improving a policy from fixed data while avoiding out-of-distribution actions with unreliable value estimates. Diffusion and flow policies handle this trade-off by modeling the behavior distribution to regularize the RL objective, but they require iterative denoising, solver integrations, and in more efficient variants, distillation or other approximations at inference. We propose DriftQL, which combines a drift-based behavioral regularizer with critic-driven policy improvement. The value signal biases the policy toward high-value regions of the data support, while attraction and repulsion together keep generated actions near the data and prevent collapse onto a single mode. DriftQL is implemented as a single network with a unified training objective and generates actions in a single forward pass. On D4RL and OGBench, DriftQL consistently outperforms diffusion and flow methods, advancing the state of the art. Under degraded data quality, where the baselines visibly struggle, DriftQL remains close to its clean-data performance, positioning it as a promising alternative to diffusion and flow-based methods while maintaining the simplicity and efficiency of deterministic approaches. Project page: https://driftql.github.io/
Abstract（参考訳）: オフライン強化学習は、信頼できない値推定を伴う配布外アクションを避けながら、固定データからポリシーを改善する必要がある。拡散と流れのポリシーは、挙動分布をモデリングしてRLの目的を規則化することでこのトレードオフを処理するが、それらは反復的分解、ソルバ積分、そして推論におけるより効率的な変種、蒸留、その他の近似を必要とする。ドリフトベースの行動正規化器と批判駆動型ポリシー改善を組み合わせたDriftQLを提案する。値信号は、データサポートの高価値領域に対するポリシーを偏り、アトラクションと反発は共に、データの近くで生成されたアクションを保ち、単一のモードに崩壊するのを防ぐ。 DriftQLは、トレーニング目標を統一した単一のネットワークとして実装され、単一のフォワードパスでアクションを生成する。 D4RLとOGBenchでは、DriftQLは拡散とフローメソッドを一貫して上回り、最先端の進歩を遂げている。ベースラインが視覚的に苦しむ劣化したデータ品質の下では、DriftQLは依然としてクリーンなデータパフォーマンスに近づき、決定論的アプローチの単純さと効率を維持しつつ、拡散とフローベースのメソッドに代わる有望な代替手段として位置づけられている。プロジェクトページ: https://driftql.github.io/

関連論文リスト

Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文参考訳（メタデータ） (2026-05-12T16:44:47Z)
ScoRe-Flow: Complete Distributional Control via Score-Based Reinforcement Learning for Flow Matching [14.421249343302028]
フローマッチング(FM)ポリシーは、ロボット制御の効率的なバックボーンとして登場した。本稿では,楽譜に基づくRLファインチューニング手法であるScoRe-Flowを提案する。
論文参考訳（メタデータ） (2026-04-13T03:56:37Z)
Amortizing Trajectory Diffusion with Keyed Drift Fields [2.5352713493505785]
キード・ドリフト・ポリシーズ (Keyed Drifting Policies) は、ドリフトフィールドの目標で訓練された1ステップの軌道生成装置である。生成されたトラジェクトリを条件マッチングされたデータセットウィンドウに反映する。 1ステップの推論で高い性能を達成し、拡散サンプリングよりも計画遅延を大幅に低減する。
論文参考訳（メタデータ） (2026-03-14T17:56:15Z)
Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning [10.037416068775853]
本稿では,多段階フローマッチングポリシと蒸留ワンステップアクタを結合したガイドフローポリシーを提案する。アクターは、重み付けされた振る舞いのクローンを通じてフローポリシーを指示し、データセットから高価値なアクションのクローンに集中する。この相互誘導により、GFPは144の状態およびピクセルベースのタスクで最先端のパフォーマンスを達成することができる。
論文参考訳（メタデータ） (2025-12-03T17:05:58Z)
Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
論文参考訳（メタデータ） (2025-12-02T14:42:54Z)
ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
ResADは正規化された残留軌道モデリングフレームワークである。学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
論文参考訳（メタデータ） (2025-10-09T17:59:36Z)
FedDAA: Dynamic Client Clustering for Concept Drift Adaptation in Federated Learning [6.327777127276663]
我々は、貴重な歴史的知識を保持しつつ、マルチソース概念のドリフトに適応するように設計された動的クラスタリングFLフレームワークであるFedDAAを提案する。特に、FedDAAは3つのモジュールを統合している。クラスタ数決定モジュールは最適なクラスタ数を見つけることができ、実際のドリフトと仮想/ラベルドリフトを区別するリアルドリフト検出モジュールは、有用な履歴情報を保持しながら新しいデータに適応するコンセプトドリフト適応モジュールである。実験の結果、FedDAAはFashion-MNIST、CIFAR-10、CIFAR-100の最先端手法よりも精度が7.84%から8.52%向上した。
論文参考訳（メタデータ） (2025-06-26T07:09:08Z)
FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。条件設定では、太陽予測において優れた性能を達成している。
論文参考訳（メタデータ） (2024-11-12T03:03:23Z)
Diffusion Policies creating a Trust Region for Offline Reinforcement Learning [66.17291150498276]
本稿では,拡散信頼型Q-Learning (DTQL) という2つの政策アプローチを導入する。 DTQLは、トレーニングと推論の両方において反復的なデノレーションサンプリングの必要性を排除し、計算的に極めて効率的である。 DTQLは、D4RLベンチマークタスクの大部分において、他のメソッドよりも優れているだけでなく、トレーニングや推論速度の効率性も示すことができる。
論文参考訳（メタデータ） (2024-05-30T05:04:33Z)
Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文参考訳（メタデータ） (2023-02-17T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。