論文の概要: Measuring Empowerment from Offline Data for Intrinsically Motivated Exploration

• arxiv url: http://arxiv.org/abs/2610.24461v1
• Date: Sat, 17 Oct 2026 05:02:09 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:45:08.567627
• Title: Measuring Empowerment from Offline Data for Intrinsically Motivated Exploration
• Title（参考訳）: 本質的なモチベーション探索のためのオフラインデータからのエンパワーメントの測定
• Abstract要約: 本研究では,環境相互作用を伴わずに,ラベルのない事前データからエンパワーメントを推定する手法を提案する。 省力化政策と国家占有対策を併用して共同学習することにより、未知の政策から生じる未ラベルの軌跡に基づいて推定者を訓練することができる。
• 参考スコア（独自算出の注目度）: 69.75343444810171
• License:
• Abstract: Large, unlabeled datasets of prior experience have become increasingly available for agentic tasks in domains such as robotics and coding. A common recipe for these tasks is to train a policy using the prior data, and then further improve it with online rollouts. But while much work has studied how to use both the offline and online data for policy extraction, far less work has been done to understand how the prior data can be used to efficiently \textit{explore} during the online learning phase. Previous work has attempted to formalize this idea by defining the \textit{empowerment}, a measure of how many future states an agent can realize; states with higher empowerment require more exploration as there are more futures to explore. However, existing methods for estimating empowerment require online policy rollouts in the environment. We propose the first method for estimating empowerment from unlabeled prior data, without any environment interaction. By jointly learning an empowerment-maximizing policy together with its discounted state-occupancy measure, our estimator can be trained on unlabeled trajectories generated from any unknown policy. We demonstrate that our empowerment estimator qualitatively gives intuitive empowerment measures and show that the pretrained estimator can be used to improve exploration in the online goal-conditioned reinforcement learning setting. Code is available at \url{https://github.com/ishirgarg/offline-empowerment}.
• Abstract（参考訳）: ロボット工学やコーディングといった分野におけるエージェントタスクには、それまでの経験をラベル付けしていなかった大規模なデータセットがますます利用できるようになった。 これらのタスクの一般的なレシピは、以前のデータを使ってポリシーをトレーニングし、オンラインのロールアウトでさらに改善することだ。 しかし、オフラインデータとオンラインデータの両方をポリシー抽出に利用する方法について多くの研究が行われてきたが、オンライン学習フェーズにおいて、事前データがtextit{explore}にどのように効率的に適用できるかを理解するために、はるかに少ない作業がなされている。 従来の研究は、エージェントが実現できる未来の状態の数を示す「textit{empowerment}」を定義することで、このアイデアを形式化しようと試みてきた。 しかし、既存のエンパワーメント推定手法では、環境におけるオンラインポリシーのロールアウトが必要である。 本研究では,環境相互作用を伴わずに,ラベルのない事前データからエンパワーメントを推定する手法を提案する。 省力化政策と国家占領対策を併用して共同で学習することにより、未知の政策から生じる未ラベルの軌道で推定者を訓練することができる。 筆者らは, 定性的に定性的に定性的なエンパワーメント尺度を与え, オンライン目標条件強化学習環境における探索を改善するために, 事前学習型エンパワーメント推定器を使用できることを示した。 コードは \url{https://github.com/ishirgarg/offline-empowerment} で公開されている。

関連論文リスト

• Using Non-Expert Data to Robustify Imitation Learning via Offline Reinforcement Learning [21.705096559151286]
  オフライン強化学習は、非専門的なデータを利用して模倣学習ポリシーの性能を向上させることができることを示す。 提案手法は, オフラインRLにより拡張された模倣アルゴリズムにより, タスクを頑健に解決できることを示す。
  論文  参考訳（メタデータ） (2025-10-22T11:43:39Z)
• Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration [54.8229698058649]
  ラベルなしのオフライン軌道データは、効率的な探索戦略を学ぶために利用することができる。 提案手法は,42の長軸,スパース・リワードタスクからなるスイートにおいて,従来戦略よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-10-23T17:58:45Z)
• Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach [95.74102207187545]
  本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。 そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:02:51Z)
• Learning and Retrieval from Prior Data for Skill-based Imitation Learning [47.59794569496233]
  従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
  論文  参考訳（メタデータ） (2022-10-20T17:34:59Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning [78.13740204156858]
  我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。 我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。 我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
  論文  参考訳（メタデータ） (2020-10-27T17:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。