論文の概要: From Curiosity to Competence: How World Models Interact with the Dynamics of Exploration
- arxiv url: http://arxiv.org/abs/2507.08210v1
- Date: Thu, 10 Jul 2025 22:45:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-14 18:03:54.198148
- Title: From Curiosity to Competence: How World Models Interact with the Dynamics of Exploration
- Title（参考訳）: 好奇心から能力へ:世界モデルが探索のダイナミクスとどのように相互作用するか
- Authors: Fryderyk Mantiuk, Hanqi Zhou, Charley M. Wu,
- Abstract要約: 進化する内部表現が好奇心と能力の間のトレードオフをいかに仲介するかを示す。
本研究は,未知点と可制御点のバランスとして適応探索を定式化した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: What drives an agent to explore the world while also maintaining control over the environment? From a child at play to scientists in the lab, intelligent agents must balance curiosity (the drive to seek knowledge) with competence (the drive to master and control the environment). Bridging cognitive theories of intrinsic motivation with reinforcement learning, we ask how evolving internal representations mediate the trade-off between curiosity (novelty or information gain) and competence (empowerment). We compare two model-based agents using handcrafted state abstractions (Tabular) or learning an internal world model (Dreamer). The Tabular agent shows curiosity and competence guide exploration in distinct patterns, while prioritizing both improves exploration. The Dreamer agent reveals a two-way interaction between exploration and representation learning, mirroring the developmental co-evolution of curiosity and competence. Our findings formalize adaptive exploration as a balance between pursuing the unknown and the controllable, offering insights for cognitive theories and efficient reinforcement learning.
- Abstract（参考訳）: エージェントが環境をコントロールしながら世界を探索するきっかけは何だろうか?
子供の遊びから研究室の科学者まで、知的エージェントは好奇心(知識を求める動機)と能力(環境をマスターし制御する動機)のバランスをとる必要がある。
強化学習による本質的なモチベーションの認知理論を融合させ、進化する内部表現が好奇心(ノベルティや情報ゲイン)と能力(エンパワーメント)のトレードオフをいかに仲介するかを問う。
手作り状態抽象化(Tabular)を用いた2つのモデルベースエージェントを比較し,内部世界モデル(Dreamer)を学習する。
タブラルエージェントは、異なるパターンの好奇心と能力ガイド探索を示し、両方の優先順位付けは探索を改善する。
ドリーマーエージェントは、探究と表現学習の間の双方向の相互作用を明らかにし、好奇心と能力の発達的共進化を反映している。
本研究は,未知と可制御性のバランスとして適応探索を定式化し,認知理論と効率的な強化学習の洞察を提供する。
関連論文リスト
- Behavioral Exploration: Learning to Explore via In-Context Adaptation [53.92981562916783]
我々は、過去の観察の文脈で条件付けられた専門家の行動を予測し、専門家の行動がこの文脈とどのように関係しているかを測定するために、長期コンテキスト生成モデルを訓練する。
これにより、モデルが専門家の振る舞いを模倣するだけでなく、過去の相互作用の歴史を文脈に反映することで、これまで選択されたものと異なる専門家の振る舞いを選択することができる。
本手法は実環境におけるロボット操作作業だけでなく,シミュレーションロコモーションと操作設定の両方において有効であることを示す。
論文 参考訳（メタデータ） (2025-07-11T21:36:19Z) - Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes [1.6874375111244329]
強化学習(RL)エージェントは、人間の観察者によって直感的に解釈できない学習行動を示すことが多い。
この研究は、エージェントの学習プロセスに対する人間の観察者の理解の要因に関するデータ駆動的な理解を提供する。
論文 参考訳（メタデータ） (2025-06-16T15:04:27Z) - Truly Self-Improving Agents Require Intrinsic Metacognitive Learning [59.60803539959191]
自己改善エージェントは、最小限の監督で継続的に新しい能力を取得することを目的としている。
現在のアプローチは2つの重要な制限に直面している。自己改善プロセスは、しばしば厳格であり、タスクドメイン全体にわたって一般化できない。
我々は、効果的な自己改善は、エージェントの本質的な能力として定義された固有のメタ認知学習を必要とし、自身の学習プロセスを積極的に評価し、反映し、適応させる。
論文 参考訳（メタデータ） (2025-06-05T14:53:35Z) - Intrinsically-Motivated Humans and Agents in Open-World Exploration [50.00331050937369]
複雑なオープンエンド環境で、大人、子供、AIエージェントを比較します。
エントロピーとエンパワーメントだけが、人類の探査の進歩と一貫して正の相関関係にあることがわかった。
個人の発話,特に目的語化が子どもの探索に有効であることを示す予備的証拠を見出した。
論文 参考訳（メタデータ） (2025-03-31T00:09:00Z) - Learning Goal-based Movement via Motivational-based Models in Cognitive
Mobile Robots [58.720142291102135]
人間は、強さと文脈に応じて行動を促進する必要がある。
また、各行動の知覚的快楽に関連する嗜好も作り出します。
これにより、意思決定がより複雑になり、コンテキストに応じてニーズと嗜好のバランスを取ることが求められます。
論文 参考訳（メタデータ） (2023-02-20T04:52:24Z) - Choreographer: Learning and Adapting Skills in Imagination [60.09911483010824]
我々は、その世界モデルを利用して想像力のスキルを学び、適応するモデルベースのエージェントであるChoreographerを紹介する。
提案手法は探索とスキル学習のプロセスを切り離し,モデルの潜在状態空間におけるスキルの発見を可能にする。
Choreographerはオフラインデータからスキルを学ぶことができ、探索ポリシーと同時にデータを集めることができる。
論文 参考訳（メタデータ） (2022-11-23T23:31:14Z) - Intrinsically Motivated Learning of Causal World Models [0.0]
有望な方向は、センサーと環境との相互作用の裏に隠された真の物理的なメカニズムを捉えた世界モデルを構築することである。
環境の因果構造を推定することは、適切な介入データを収集する手段として、適切なチョーセン行動の恩恵を受けることができる。
論文 参考訳（メタデータ） (2022-08-09T16:48:28Z) - A Novel Multimodal Approach for Studying the Dynamics of Curiosity in
Small Group Learning [2.55061802822074]
本稿では,仲間の観察可能な行動と根底にある好奇心状態とを結びつける,好奇心の統合社会認知的記述を提案する。
我々は、好奇心に寄与する個人機能と対人機能と、これらの機能を満たすマルチモーダル動作を区別する。
この研究は、社会的文脈における学習中にモーメント・バイ・モーメントの好奇心を認識して誘発できる学習技術を設計するためのステップである。
論文 参考訳（メタデータ） (2022-04-01T16:12:40Z) - From Psychological Curiosity to Artificial Curiosity: Curiosity-Driven
Learning in Artificial Intelligence Tasks [56.20123080771364]
心理学的好奇心は、探索と情報取得を通じて学習を強化するために、人間の知性において重要な役割を果たす。
人工知能(AI)コミュニティでは、人工好奇心は効率的な学習に自然な本質的な動機を与える。
CDLはますます人気を博し、エージェントは新たな知識を学習するために自己動機付けされている。
論文 参考訳（メタデータ） (2022-01-20T17:07:03Z) - Towards Teachable Autotelic Agents [21.743801780657435]
Teachable Autotelic Agent (TAA) は、内部および教示信号の両方から学習するエージェントである。
本稿では,教育可能な自律エージェントの設計に向けてのロードマップを示す。
論文 参考訳（メタデータ） (2021-05-25T14:28:58Z) - Applying Deutsch's concept of good explanations to artificial
intelligence and neuroscience -- an initial exploration [0.0]
深層学習におけるドイツの難しい原則と、より形式化された原則とどのように関連しているかを調査します。
私たちは、人間の脳を見ることで、知能でどのように難しい説明が果たす役割を見ます。
論文 参考訳（メタデータ） (2020-12-16T23:23:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。