論文の概要: Going Beyond State-Reaching: Learning Abstractions for Intrinsically Motivated Option Discovery

• arxiv url: http://arxiv.org/abs/2609.36473v1
• Date: Tue, 29 Sep 2026 01:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.090506
• Title: Going Beyond State-Reaching: Learning Abstractions for Intrinsically Motivated Option Discovery
• Title（参考訳）: ステートリーチを超えて: 本質的にモチベーションのあるオプション発見のための抽象化を学ぶ
• Abstract要約: 本稿では,各サブゴールの少数の特徴を学習し,広範に一般化し探索を高速化するアルゴリズムを提案する。 提案手法は,アタリゲームMontezumasRevsengeを含む3つのスパース・リワード・イメージベース領域において,抽象的,転送可能な選択肢と迅速な探索を実現する。
• 参考スコア（独自算出の注目度）: 14.225187205646328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal abstraction via options can improve exploration in large environments. However, existing option discovery algorithms find subgoals that target all aspects of the state simultaneously. This state-reaching approach produces options that only apply in narrow regions of the state-space, eventually causing an explosion in the number of options that overwhelms the agent, and impedes progress on its primary task of reward maximization. We introduce an algorithm that instead identifies a small, relevant subset of features for each subgoal, yielding options that generalize broadly and accelerate exploration. Our approach learns abstract, transferrable options and achieves rapid exploration in three sparse-reward, image-based domains, including the Atari game MontezumasRevenge.
• Abstract（参考訳）: オプションによる時間的抽象化は、大規模な環境での探索を改善することができる。 しかし、既存のオプション発見アルゴリズムは、状態のすべての側面を同時にターゲットとするサブゴールを見つける。 この状態取得アプローチは、状態空間の狭い領域にのみ適用されるオプションを生成し、最終的にはエージェントを圧倒するオプションの数が爆発的に増加し、報酬の最大化という主要なタスクに進歩を阻害する。 提案手法では,各サブゴール毎に,小さな,関連する機能のサブセットを識別するアルゴリズムを導入し,広範に一般化し,探索を高速化する。 本稿では,Atari ゲーム MontezumasRevenge を含む3つのスパース・リワード・イメージベース領域において,抽象的,転送可能な選択肢を学習し,迅速な探索を実現する。

関連論文リスト

• All Roads Lead to Rome: Flow-driven Multi-Anchor Exploration for Open-Environment Active 3D Mapping [54.90158288791037]
  Open-Environment Active 3D Mappingは、見えないシナリオを再構築するために、長い水平かつ最も短い軌道探索を行うことを目的としている。 本研究では,フローマッチングを用いた条件付きマルチモーダルアンカー生成として,長距離目標予測を再構成する。 オープン環境における一般化と再構築の効率化を図る。
  論文  参考訳（メタデータ） (2026-09-29T07:20:32Z)
• Action abstractions for amortized sampling [49.384037138511246]
  本稿では、政策最適化プロセスに行動抽象化(高レベルの行動)の発見を組み込むアプローチを提案する。 我々のアプローチでは、多くの高次軌道にまたがってよく使われるアクション列を反復的に抽出し、それらをアクション空間に追加する単一のアクションにチャンキングする。
  論文  参考訳（メタデータ） (2024-10-19T19:22:50Z)
• A Unified Algorithm Framework for Unsupervised Discovery of Skills based on Determinantal Point Process [53.86223883060367]
  教師なしオプション発見における多様性とカバレッジは、実際には同じ数学的枠組みの下で統一可能であることを示す。 提案アルゴリズムであるODPPは,MujocoとAtariで作成した課題に対して,広範囲に評価されている。
  論文  参考訳（メタデータ） (2022-12-01T01:40:03Z)
• Temporal Abstractions-Augmented Temporally Contrastive Learning: An Alternative to the Laplacian in RL [140.12803111221206]
  強化学習において、ラプラシアングラフはタスク非依存の設定において貴重なツールであることが証明されている。 そこで本研究では,非一様優先度設定において,ラプラシアン表現の表現性および所望の性質を回復可能な代替手法を提案する。 非一様条件のラプラシアンの代替として成功し、連続的な制御環境に挑戦する。
  論文  参考訳（メタデータ） (2022-03-21T22:07:48Z)
• Reward-Respecting Subtasks for Model-Based Reinforcement Learning [13.906158484935098]
  強化学習には、状態と時間の抽象的な世界のモデルによる計画を含めなければならない。 この理由の1つは、可能なオプションの空間が膨大であり、オプション発見のために提案されたメソッドは、オプションモデルが計画にどのように使用されるかを考慮していない。 報奨評価サブタスクから得られるオプションモデルは、固有オプションやボトルネック状態に基づく最短経路オプション、あるいはオプションクリティカルによって生成された報酬参照オプションよりも、計画立案に有用であることを示す。
  論文  参考訳（メタデータ） (2022-02-07T19:09:27Z)
• Temporal Abstraction in Reinforcement Learning with the Successor Representation [65.69658154078007]
  我々は、後継表現(SR)が時間的抽象化の発見と利用の自然な基盤とみなすことができると論じる。 我々は、SRが時間的に延長された探索や計画を容易にする選択肢を見つけるためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-10-12T05:07:43Z)
• Reannealing of Decaying Exploration Based On Heuristic Measure in Deep Q-Network [82.20059754270302]
  本稿では,再熱処理の概念に基づくアルゴリズムを提案し,必要なときにのみ探索を促進することを目的とする。 我々は、訓練を加速し、より良い政策を得る可能性を示す実証的なケーススタディを実施している。
  論文  参考訳（メタデータ） (2020-09-29T20:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。