論文の概要: Occupancy Modeling via Drifting: One-Step Generation Enables Direct Policy Extraction

• arxiv url: http://arxiv.org/abs/2610.19883v1
• Date: Wed, 14 Oct 2026 09:37:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.074368
• Title: Occupancy Modeling via Drifting: One-Step Generation Enables Direct Policy Extraction
• Title（参考訳）: ドリフトによる業務モデリング: 直接政策抽出を可能にするワンステップジェネレーション
• Abstract要約: 生成モデルは、報酬のない軌道上での占有をモデル化するために事前訓練される。 本稿では, このレシピを3つの軸に沿って分解する: 占領者のマルチモーダル構造を捉えなければならない程度, 生成モデルの種類, 政策抽出に用いる方法。 これにより, 占有モデルによる直接分化による政策抽出が可能であり, 批判蒸留の必要性を回避できることが示唆された。
• 参考スコア（独自算出の注目度）: 29.40096857394033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing interest in behavior foundation models, combined with recent advancements in generative modeling, has led to an appealing recipe for reinforcement learning from unlabeled data: pre-train a generative model to model occupancies, i.e., discounted state visitations, on reward-free trajectories, such that a policy can be easily extracted once a small reward-labeled dataset becomes available. We decompose this recipe along three axes: (i) the degree to which the multi-modal structure of occupancies must be captured, (ii) the class of generative model, and (iii) the method used for policy extraction. Along each axis, we consider existing choices, propose simpler alternatives, and validate each decision experimentally. This analysis culminates in a novel, streamlined method that leverages drifting, a modern one-step generative sampler, to model the occupancy. We show that this enables policy extraction via direct differentiation through the occupancy model, and bypasses the need for critic distillation. Overall, we observe that this nimble setup leads to improvements in performance on standard benchmarks.
• Abstract（参考訳）: 行動基盤モデルへの関心の高まりと、近年のジェネレーティブ・モデリングの進歩により、未ラベルのデータから強化学習のための魅力的なレシピが生まれてきた。 私たちはこのレシピを3つの軸に沿って分解します。 一 占領地の多様構造を捕えなければならない程度 (ii)生成モデルのクラス、及び 三 政策抽出の方法 各軸に沿って、既存の選択を検討し、より単純な選択肢を提案し、それぞれの決定を実験的に検証する。 この分析は、近代的な一段階生成型サンプリング装置であるドリフトを利用して、その占有をモデル化する、新しい合理化手法によって決定される。 これにより, 占有モデルによる直接分化による政策抽出が可能であり, 批判蒸留の必要性を回避できることが示唆された。 全体として、このスンブルセットアップが標準ベンチマークのパフォーマンス改善につながることを観察する。

関連論文リスト

• Classifier Reconstruction Through Counterfactual-Aware Wasserstein Prototypes [7.568155070224663]
  モデル再構成は,両クラスに代表されるサンプルが少なくても,偽物が情報として機能することを認識することで,大幅に改善できることを実証する。 本稿では, ワッサーシュタイン・バリセンタを用いて, 原データと対実データを統合する手法を提案する。
  論文  参考訳（メタデータ） (2025-12-11T18:06:49Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
  本稿では,2相モデル選択フレームワークを提案する。 これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。 提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
  論文  参考訳（メタデータ） (2024-03-28T14:44:44Z)
• Plan To Predict: Learning an Uncertainty-Foreseeing Model for Model-Based Reinforcement Learning [32.24146877835396]
  本稿では,モデルロールアウト処理を逐次決定問題として扱うフレームワークであるemphPlan To Predict (P2P)を提案する。 P2Pは、いくつかの課題のあるベンチマークタスクにおいて最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-01-20T10:17:22Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)
• Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
  現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。 その微分可能性を利用してモデルをより効果的に活用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-16T19:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。