論文の概要: Density-Guided Bootstrap Boundaries for Latent World-Model Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.41022v1
• Date: Thu, 29 Oct 2026 22:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.504625
• Title: Density-Guided Bootstrap Boundaries for Latent World-Model Reinforcement Learning
• Title（参考訳）: 潜在世界モデル強化学習のための密度ガイド型ブートストラップ境界
• Abstract要約: スコアインフォームド相対密度プロキシを用いて,実測値の深さに適応する密度誘導ブートストラップ境界を導入する。 得られたゲートベルマン作用素が厳密な縮約写像であり、初期ブートストラップが条件目標分散を単調に減少させることを示す。
• 参考スコア（独自算出の注目度）: 1.8888926980084333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent world models allow reinforcement learning agents to learn policies from imagined trajectories, yet determining the optimal depth of model reliance remains a fundamental challenge. Fixed imagination horizons apply uniform prediction depths regardless of trajectory reliability, exposing target values to compounding model error or over-relying on critic approximations. We introduce density-guided bootstrap boundaries, a trajectory-dependent mechanism that adapts the depth of imagined returns using a score-informed relative density proxy. The proxy accumulates the estimated divergence of a score-corrected auxiliary field formed by a feature displacement network and a noise-conditioned score estimator along imagined paths. We propose two gating mechanisms: a hard boundary that halts return expansion at a discrete state, and a soft boundary that continuously shifts the return recursion toward critic bootstrapping. Both variants preserve boundary value estimates and apply corresponding survival weights to actor and critic losses. Formulated independently of specific dynamics models and instantiated within Dreamer V3, we prove that the resulting gated Bellman operator is a strict contraction mapping and that early bootstrapping monotonically reduces conditional target variance. We clarify the theoretical assumptions distinguishing our expansion proxy from exact path likelihoods. Across continuous-control tasks and Atari Pong, empirical evaluations show that dynamic boundary selection enhances sample efficiency and late-training performance over fixed-horizon and auxiliary-enabled baselines.
• Abstract（参考訳）: 潜在世界モデルは、強化学習エージェントが想像された軌道からポリシーを学ぶことを可能にするが、モデル依存の最適な深さを決定することは根本的な課題である。 固定された想像的地平線は、軌道の信頼性に関係なく均一な予測深度を適用し、モデル誤差の複合化や批判的近似による過度に目標値を公開する。 本稿では, 相対密度プロキシを用いて, 相対密度プロキシを用いて, 実測値の深さに適応する軌道依存機構である密度誘導ブートストラップバウンダリを導入する。 プロキシは、特徴変位ネットワークと、想定経路に沿ってノイズ調和したスコア推定器によって形成されたスコア補正補助場の推定ばらつきを蓄積する。 本稿では,離散状態での戻り展開を停止するハード境界と,リターン再帰を批判ブートストラップに向けて連続的にシフトするソフト境界という2つのゲーティング機構を提案する。 どちらの変種も境界値の推定を保ち、それに対応する生存重量を俳優や批評家の損失に適用する。 特定の力学モデルとは独立に定式化され、Dreamer V3内でインスタンス化され、結果として得られるゲートベルマン作用素が厳密な縮約写像であり、初期ブートストラップが条件目標分散を単調に減少させることを示す。 我々は,拡張プロキシと正確な経路確率を区別する理論的仮定を明らかにした。 連続制御タスクとアタリポンを含む実験的な評価では、動的境界選択は固定水平および補助対応ベースラインよりも標本効率と遅延学習性能を高めることが示されている。

関連論文リスト

• Maximum Entropy Inverse Reinforcement Learning for Mean-Field Games with Average Reward [0.0]
  本研究では,平均逆条件下での平均フィールドゲーム(MFG)の逆強化学習について検討する。 我々は,専門的平均場項と長期的特徴期待との整合性を持たせることで,逆問題を定式化する。 マルウェア拡散型MFGとRKHSベースの消費者選択モデルという2つの数値例は、回復されたポリシーが専門家の行動と密接に一致していることを示している。
  論文  参考訳（メタデータ） (2026-06-15T14:13:16Z)
• Rate-optimal neural boundary detection from unlabeled noisy images [1.8620637029128548]
  統計的観点からラベル付き雑音画像の境界検出について検討した。 頑健なギブスの後部アプローチにより, 境界検出のための連続的なヒンジ型サロゲート損失を提案する。 提案した損失は勾配に基づく最適化に有効であり、複雑なオブジェクト境界を表現するためにディープニューラルネットワークと組み合わせることができる。
  論文  参考訳（メタデータ） (2026-05-30T12:58:09Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation [69.7036779439312]
  ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。 ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。 我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
  論文  参考訳（メタデータ） (2026-03-24T07:54:19Z)
• Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing [1.0312968200748118]
  Rectified Flowモデルは最先端の世代品質を実現するが、正確なタスクのためにそれらを制御することは依然として困難である。 現在のアプローチは「幾何学的ロック」に苦しむ逆法に基づくガイダンスに分岐する Score-Guided Proximal Projectionは,決定論的最適化と縮尺サンプリングのギャップを埋める統一フレームワークである。
  論文  参考訳（メタデータ） (2026-03-05T23:44:45Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。