論文の概要: Offline Reinforcement Learning with Universal Horizon Models

• arxiv url: http://arxiv.org/abs/2605.15603v1
• Date: Fri, 15 May 2026 04:30:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.169491
• Title: Offline Reinforcement Learning with Universal Horizon Models
• Title（参考訳）: ユニバーサル水平モデルを用いたオフライン強化学習
• Authors: Hojun Chung, Junseo Lee, Songhwai Oh,
• Abstract要約: 我々は、任意の地平線の下での将来の状態を直接予測するGHMの一般化である普遍地平線モデル(UHM)を導入する。 過大な地平線をカプセル化することでトレーニングを安定させるために,ウィンソライズした地平線分布を用いたスケーラブルな値学習法を提案する。 OGBenchタスク100件の実験結果から,提案手法が競争基準よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 15.801661284310823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-based reinforcement learning (RL) offers a compelling approach to offline RL by enabling value learning on imagined on-policy trajectories. However, it often suffers from compounding errors due to repeated model inference on self-generated states. While geometric horizon models (GHM) alleviate this issue through direct prediction over a discounted infinite-horizon future, they remain challenged in accurately modeling distant future states. To this end, we introduce universal horizon models (UHM), a generalization of GHM that directly predicts future states under arbitrary horizons. Leveraging this flexibility, we propose a scalable value learning method that employs a winsorized horizon distribution to stabilize training by capping excessively large horizons. Experimental results on 100 challenging OGBench tasks demonstrate that the proposed method outperforms competitive baselines, particularly on tasks with highly suboptimal datasets and those requiring long-horizon reasoning. Project page: https://rllab-snu.github.io/projects/UHM/
• Abstract（参考訳）: モデルベース強化学習(RL)は、想像上のオンライン軌道上の価値学習を可能にすることによって、オフラインRLに魅力的なアプローチを提供する。 しかし、しばしば自己生成状態に対するモデル推論の繰り返しによる複雑なエラーに悩まされる。 幾何学的地平線モデル(GHM)は、割引された無限水平未来を直接予測することでこの問題を緩和するが、遠い未来の状態を正確にモデル化することは依然として困難である。 この目的のために、任意の地平線の下での将来の状態を直接予測するGHMの一般化である普遍地平線モデル(UHM)を導入する。 この柔軟性を生かして、過大な地平線を捕獲することでトレーニングを安定させるために、ウインソライズされた地平線分布を利用するスケーラブルな価値学習法を提案する。 OGBenchタスク100件の実験結果から,提案手法は競争ベースライン,特に最適なデータセットを持つタスクや,長期的推論を必要とするタスクよりも優れていることが示された。 プロジェクトページ: https://rllab-snu.github.io/projects/UHM/

関連論文リスト

• ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
  視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。 本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:59:42Z)
• Horizon Imagination: Efficient On-Policy Rollout in Diffusion World Models [53.30870288484743]
  我々は、強化学習のための拡散に基づく世界モデルについて研究する。 現在の方法は推論時に重み付けモデルを必要とするか、非常に逐次的な想像力に依存している。 我々は,複数の将来の観測を並列に認知する個別政策のための,政治上の想像プロセスであるHorizon Imagination(HI)を提案する。
  論文  参考訳（メタデータ） (2026-02-08T16:07:04Z)
• LIVE: Long-horizon Interactive Video World Modeling [39.52605866460851]
  Long-Horizon Interactive Video world modElは、新しいサイクル一貫性の目的を通じて境界付きエラー蓄積を実行する。 Liveはロングホライゾンベンチマークで最先端のパフォーマンスを達成し、ロールアウト期間のトレーニングを超えて、安定した高品質のビデオを生成する。
  論文  参考訳（メタデータ） (2026-02-03T17:10:03Z)
• Imitation from Observations with Trajectory-Level Generative Embeddings [18.63253047959276]
  我々は、専門家による実証が不十分で、利用可能なオフラインの準最適データが専門家の行動からかけ離れている観察(LfO)からオフラインの模倣学習を考える。 オフライン軌道データに基づいて訓練された時間拡散モデルの潜時空間におけるエキスパート状態密度を推定することにより、密集した滑らかな代理報酬を構成するオフラインLfOのための軌道レベルの生成的埋め込みであるTGEを提案する。
  論文  参考訳（メタデータ） (2026-01-01T19:38:37Z)
• Visual Autoregressive Modelling for Monocular Depth Estimation [69.01449528371916]
  本稿では,視覚的自己回帰(VAR)に基づく単眼深度推定手法を提案する。 提案手法は,大規模テキスト・画像VARモデルに適応し,スケールワイド・コンディショナル・アップサンプリング機構を導入する。 本研究では,屋内ベンチマークにおける制約付きトレーニング条件下での最先端性能と,屋外データセットに適用した場合の強い性能について報告する。
  論文  参考訳（メタデータ） (2025-12-27T17:08:03Z)
• Generative Actor Critic [74.04971271003869]
  Generative Actor Critic (GAC) は、軌道上での関節分布の生成モデル学習として、テキスト政治評価を反映して、シーケンシャルな意思決定を分離する新しいフレームワークである。 Gym-MuJoCoとMaze2Dベンチマークの実験では、GACの強いオフライン性能と、最先端の手法と比較してオフラインからオフラインへの大幅な改善が示されている。
  論文  参考訳（メタデータ） (2025-12-25T06:31:11Z)
• Scalable Offline Model-Based RL with Action Chunks [60.80151356018376]
  モデルに基づく強化学習が、オフラインRLにおける複雑で長期のタスクに対処するためのスケーラブルなレシピを提供するかどうかを検討する。 我々はこのレシピを textbfModel-based RL with Action Chunks (MAC) と呼ぶ。 MAC はオフラインモデルベース RL アルゴリズムの中で,特に長期的タスクにおいて,最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-12-08T23:26:29Z)
• Model-based Offline Reinforcement Learning with Lower Expectile Q-Learning [6.345851712811528]
  我々は、新しいモデルに基づくオフラインRL手法、Low expectile Q-learning (LEQ)を導入する。 LEQは、$lambda$-returnsの低い期待回帰による低バイアスモデルベースの値推定を提供する。 我々の研究は、低期待の回帰、$lambda$-returns、オフラインデータに対する批判的トレーニングがLEQにとって重要であることを示した。
  論文  参考訳（メタデータ） (2024-06-30T13:44:59Z)
• Value Memory Graph: A Graph-Structured World Model for Offline Reinforcement Learning [35.5986167075913]
  強化学習法(Reinforcement Learning, RL)は、一般的に、ポリシーを学ぶために環境に直接適用される。 オリジナル環境を抽象化するシンプルで離散的な世界モデルの構築を目指しています。 D4RLベンチマークを用いた実験により,VMGはゴール指向タスクにおいて,最先端のオフラインRLメソッドより優れることが示された。
  論文  参考訳（メタデータ） (2022-06-09T09:51:42Z)
• Offline Reinforcement Learning from Images with Latent Space Models [60.69745540036375]
  オフライン強化学習(RL)とは、環境相互作用の静的データセットからポリシーを学習する問題を指します。 オフラインRLのためのモデルベースアルゴリズムの最近の進歩の上に構築し、それらを高次元の視覚観測空間に拡張する。 提案手法は, 実測可能であり, 未知のPOMDPにおけるELBOの下限の最大化に対応している。
  論文  参考訳（メタデータ） (2020-12-21T18:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。