論文の概要: General agents need world models

• arxiv url: http://arxiv.org/abs/2506.01622v1
• Date: Mon, 02 Jun 2025 13:01:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.387561
• Title: General agents need world models
• Title（参考訳）: 一般エージェントは世界モデルを必要とする
• Authors: Jonathan Richens, David Abel, Alexis Bellot, Tom Everitt,
• Abstract要約: 多段階の目標指向タスクに一般化できるエージェントは、その環境の予測モデルを学んだに違いない。 このモデルはエージェントの方針から抽出でき、エージェントのパフォーマンスや目標の複雑さを増大させるには、より正確な世界モデルを学ぶ必要がある。
• 参考スコア（独自算出の注目度）: 22.608210395958224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Are world models a necessary ingredient for flexible, goal-directed behaviour, or is model-free learning sufficient? We provide a formal answer to this question, showing that any agent capable of generalizing to multi-step goal-directed tasks must have learned a predictive model of its environment. We show that this model can be extracted from the agent's policy, and that increasing the agents performance or the complexity of the goals it can achieve requires learning increasingly accurate world models. This has a number of consequences: from developing safe and general agents, to bounding agent capabilities in complex environments, and providing new algorithms for eliciting world models from agents.
• Abstract（参考訳）: 世界モデルはフレキシブルでゴール指向の行動に必要な要素か、あるいはモデルなしの学習で十分か? 我々は,多段階の目標指向タスクに一般化可能なエージェントが,その環境の予測モデルを学んだに違いないことを示す。 このモデルはエージェントの方針から抽出でき、エージェントのパフォーマンスや目標の複雑さを増大させるには、より正確な世界モデルを学ぶ必要がある。 これは、安全で一般的なエージェントの開発から複雑な環境でのバウンディングエージェント機能、エージェントから世界モデルを引き出すための新しいアルゴリズムの提供に至るまで、多くの結果をもたらす。

関連論文リスト

• AI in a vat: Fundamental limits of efficient world modelling for agent sandboxing and interpretability [84.52205243353761]
  最近の研究は、世界モデルを使用して、AIエージェントをデプロイ前にテストできる制御された仮想環境を生成することを提案する。 評価対象のAIエージェントに非依存な世界モデルを簡単にする方法を検討する。
  論文  参考訳（メタデータ） (2025-04-06T20:35:44Z)
• AgentRM: Enhancing Agent Generalization with Reward Modeling [78.52623118224385]
  報酬モデルを微調整して政策モデルを導くことは、政策モデルを直接微調整するよりも、より堅牢であることがわかった。 本稿では,効率的なテスト時間探索のためのポリシーモデルを導出するために,一般化可能な報酬モデルであるAgentRMを提案する。
  論文  参考訳（メタデータ） (2025-02-25T17:58:02Z)
• Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement [112.04307762405669]
  G"odel AgentはG"odelマシンにインスパイアされた自己進化型フレームワークである。 G"odel Agentは、パフォーマンス、効率、一般化性において手作業によるエージェントを上回る、継続的な自己改善を実現することができる。
  論文  参考訳（メタデータ） (2024-10-06T10:49:40Z)
• Toward Universal and Interpretable World Models for Open-ended Learning Agents [0.0]
  オープンエンド学習エージェントをサポートするジェネリック,コンポジション,解釈可能な生成世界モデルについて紹介する。 これは広い範囲のプロセスを近似できるベイズネットワークのスパースクラスであり、エージェントは解釈可能かつ計算にスケーラブルな方法で世界モデルを学ぶことができる。
  論文  参考訳（メタデータ） (2024-09-27T12:03:15Z)
• Mental Modeling of Reinforcement Learning Agents by Language Models [14.668006477454616]
  この研究は、いかに大きな言語モデルがエージェントのメンタルモデルを構築することができるか、初めて実証的に検証する。 本研究は, LLMを用いたRL剤の挙動解明の可能性を明らかにする。
  論文  参考訳（メタデータ） (2024-06-26T17:14:45Z)
• Modeling Bounded Rationality in Multi-Agent Simulations Using Rationally Inattentive Reinforcement Learning [85.86440477005523]
  我々は、人間不合理性の確立されたモデルであるRational Inattention(RI)モデルを含む、より人間的なRLエージェントについて検討する。 RIRLは、相互情報を用いた認知情報処理のコストをモデル化する。 我々は、RIRLを用いることで、合理的な仮定の下で発見されたものと異なる、新しい平衡挙動の豊富なスペクトルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-18T20:54:00Z)
• Procedural Generalization by Planning with Self-Supervised World Models [10.119257232716834]
  モデルベースエージェントの一般化能力をモデルフリーエージェントと比較した。 手続き的一般化の要因は,計画,自己指導型表現学習,手続き的データの多様性の3つである。 これらの要因が必ずしもタスクの一般化に同じ利益をもたらすとは限らないことが分かっています。
  論文  参考訳（メタデータ） (2021-11-02T13:32:21Z)
• A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning [104.3643447579578]
  本稿では、その状態の関連部分に動的に対応できるエンドツーエンドのモデルベース深層強化学習エージェントを提案する。 この設計により、エージェントは関連するオブジェクトに参画することで効果的に計画を学ぶことができ、配布外一般化がより良くなる。
  論文  参考訳（メタデータ） (2021-06-03T19:35:19Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。