論文の概要: Occupancy Reward Shaping: Improving Credit Assignment for Offline Goal-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.20627v1
• Date: Wed, 22 Apr 2026 14:41:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:11.180462
• Title: Occupancy Reward Shaping: Improving Credit Assignment for Offline Goal-Conditioned Reinforcement Learning
• Title（参考訳）: Occupancy Reward Shaping:Offline Goal-Conditioned Reinforcement Learningにおけるクレジットアサインメントの改善
• Abstract要約: 我々は、世界モデルに格納された時間情報が、世界の基盤となる幾何学をエンコードする方法を定式化する。 得られた方法である Occupancy Rewarding は、スパース報酬設定におけるクレジット代入の問題を大幅に軽減する。
• 参考スコア（独自算出の注目度）: 31.421592852664546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The temporal lag between actions and their long-term consequences makes credit assignment a challenge when learning goal-directed behaviors from data. Generative world models capture the distribution of future states an agent may visit, indicating that they have captured temporal information. How can that temporal information be extracted to perform credit assignment? In this paper, we formalize how the temporal information stored in world models encodes the underlying geometry of the world. Leveraging optimal transport, we extract this geometry from a learned model of the occupancy measure into a reward function that captures goal-reaching information. Our resulting method, Occupancy Reward Shaping, largely mitigates the problem of credit assignment in sparse reward settings. ORS provably does not alter the optimal policy, yet empirically improves performance by 2.2x across 13 diverse long-horizon locomotion and manipulation tasks. Moreover, we demonstrate the effectiveness of ORS in the real world for controlling nuclear fusion on 3 Tokamak control tasks. Code: https://github.com/aravindvenu7/occupancy_reward_shaping; Website: https://aravindvenu7.github.io/website/ors/
• Abstract（参考訳）: アクションと長期的な結果の間の時間的遅延は、データからゴール指向の振る舞いを学ぶ際に、クレジットの割り当てを困難にします。 生成的世界モデルは、エージェントが訪問する未来の状態の分布をキャプチャし、時間的情報をキャプチャしたことを示す。 その時間情報をどうやって抽出して信用代行を行うのか? 本稿では,世界モデルに格納された時間情報がどのように世界の基盤となる幾何学を符号化するかを定式化する。 最適輸送を生かしたこの幾何学は,学習した占有度尺度から,目標獲得情報を取得する報奨関数へと抽出する。 得られた手法であるOccupancy Reward Shapingは、スパース報酬設定におけるクレジット代入の問題を大幅に軽減する。 ORSは最適方針を変更しないが、13種類の長距離移動および操作タスクに対して2.2倍の性能を実証的に改善する。 さらに,3つのトカマク制御タスクにおける核融合制御におけるORSの有効性を示す。 コード: https://github.com/aravindvenu7/occupancy_reward_shaping; Website: https://aravindvenu7.github.io/website/ors/

関連論文リスト

• HarnessVLN: Unifying Training-Free Embodied Navigation through an Agent Harness [30.61739879302674]
  身体的なナビゲーションでは、エージェントは視覚的な観察を解釈し、空間的な知識を蓄積し、指示に従うか、オブジェクトを見つけるためのアクションを実行する必要がある。 本稿では,ゼロショットでトレーニング不要なフレームワークであるHarnessVLNを紹介し,Hernessは統合されたツールインターフェースを通じて知覚,検索,接地,ナビゲーション,回復,終了を協調する。
  論文  参考訳（メタデータ） (2026-09-14T08:15:56Z)
• WARP-RM: A Warp-Augmented Relative Progress Reward Model for Data Curation [16.464426150252255]
  本稿では,密集度,符号付き相対進行度を学習するための完全自己教師付きアルゴリズムであるWARP(Warp-Augmented Relative Progress)を提案する。 WARPは、実演の時間ワープ拡張によりフレームごとの進捗目標を生成し、WARP-RMをトレーニングし、入力フレーム間の正規化経過時間を予測する。 次に,これらのスカラー報酬推定値を利用したWARP-BCを導入する。
  論文  参考訳（メタデータ） (2026-06-26T17:58:06Z)
• Remember to be Curious: Episodic Context and Persistent Worlds for 3D Exploration [60.63663437013685]
  本研究では,この失敗は空間的持続性とエピソード的文脈の欠如に起因することを実証する。 エージェントポリシーは、RGB観測のシーケンスモデルとしてパラメータ化され、エピソジックな文脈を維持する。 エンド・ツー・エンドのポリシーは、リンゴの摘みやイメージゴールナビゲーションといった下流タスクへの効果的な適応を可能にし、オフ・スクラッチベースラインよりも優れています。
  論文  参考訳（メタデータ） (2026-05-21T17:58:06Z)
• DeformPAM: Data-Efficient Learning for Long-horizon Deformable Object Manipulation via Preference-based Action Alignment [47.273405862634085]
  本稿では、優先学習と報酬誘導行動選択に基づくデータ効率の一般学習フレームワークを提案する。 DeformPAMは、長い水平タスクを複数のアクションプリミティブに分解し、3Dポイントクラウド入力と拡散モデルを利用する。 実世界の長軸変形可能な3つのオブジェクト操作タスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-15T13:19:16Z)
• Spatial Reasoning and Planning for Deep Embodied Agents [2.7195102129095003]
  この論文は空間的推論と計画タスクのためのデータ駆動手法の開発を探求する。 学習効率、解釈可能性、新しいシナリオ間の伝達可能性の向上に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-28T23:05:56Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Reinforcement Learning from Passive Data via Latent Intentions [86.4969514480008]
  我々は、下流RLを加速する機能を学ぶために、受動的データが引き続き使用できることを示す。 我々のアプローチは、意図をモデル化することで受動的データから学習する。 実験では、クロス・エボディメント・ビデオデータやYouTubeビデオなど、さまざまな形式の受動的データから学習できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:59:05Z)
• Efficient Spatial-Temporal Information Fusion for LiDAR-Based 3D Moving Object Segmentation [23.666607237164186]
  本稿では,LiDAR-MOSの性能向上のために,空間時空間情報とLiDARスキャンの異なる表現モダリティを併用した新しいディープニューラルネットワークを提案する。 具体的には、まず、空間情報と時間情報とを別々に扱うために、レンジ画像に基づくデュアルブランチ構造を用いる。 また、3次元スパース畳み込みによるポイントリファインメントモジュールを使用して、LiDAR範囲の画像とポイントクラウド表現の両方からの情報を融合する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:17Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)
• Model-Based Reinforcement Learning via Latent-Space Collocation [110.04005442935828]
  我々は、行動だけでなく、状態の順序を計画することで、長期的タスクの解決がより容易であると主張する。 我々は、学習された潜在状態空間モデルを利用して、画像に基づく設定に最適な制御文献における長い水平タスクに対する良い結果を示すコロケーションの概念を適応させる。
  論文  参考訳（メタデータ） (2021-06-24T17:59:18Z)
• Counterfactual Credit Assignment in Model-Free Reinforcement Learning [47.79277857377155]
  強化学習における信用割当は、将来の報酬に対する行動の影響を測定する問題である。 我々は因果理論からモデルフリーなRL設定への反事実の概念を適応する。 我々は、将来の条件値関数をベースラインや批評家として使用するポリシーアルゴリズムのファミリーを定式化し、それらが明らかに低分散であることを示す。
  論文  参考訳（メタデータ） (2020-11-18T18:41:44Z)
• Learning Invariant Representations for Reinforcement Learning without Reconstruction [98.33235415273562]
  本研究では,表現学習が画像などのリッチな観察からの強化学習を,ドメイン知識や画素再構成に頼ることなく促進する方法について検討する。 シミュレーションメトリクスは、連続MDPの状態間の振る舞いの類似性を定量化する。 修正された視覚的 MuJoCo タスクを用いてタスク関連情報を無視する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-18T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。