論文の概要: OMNI: Open-endedness via Models of human Notions of Interestingness
- arxiv url: http://arxiv.org/abs/2306.01711v3
- Date: Thu, 15 Feb 2024 02:57:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 21:13:14.980128
- Title: OMNI: Open-endedness via Models of human Notions of Interestingness
- Title（参考訳）: OMNI:人間の興味の表記モデルによる開放性
- Authors: Jenny Zhang, Joel Lehman, Kenneth Stanley, Jeff Clune
- Abstract要約: オープンなアルゴリズムは、新しい興味深い振る舞いを永遠に学習することを目的としています。
無限に多くの可能なタスクがあるが、数え切れないほど学習可能であり、興味のないタスクが残っている。
We propose this problem by $textitOpen-endedness via Models of Human Notions of Interestingness$ (OMNI)。
- 参考スコア（独自算出の注目度）: 10.058656355652543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-ended algorithms aim to learn new, interesting behaviors forever. That
requires a vast environment search space, but there are thus infinitely many
possible tasks. Even after filtering for tasks the current agent can learn
(i.e., learning progress), countless learnable yet uninteresting tasks remain
(e.g., minor variations of previously learned tasks). An Achilles Heel of
open-endedness research is the inability to quantify (and thus prioritize)
tasks that are not just learnable, but also $\textit{interesting}$ (e.g.,
worthwhile and novel). We propose solving this problem by
$\textit{Open-endedness via Models of human Notions of Interestingness}$
(OMNI). The insight is that we can utilize foundation models (FMs) as a model
of interestingness (MoI), because they $\textit{already}$ internalize human
concepts of interestingness from training on vast amounts of human-generated
data, where humans naturally write about what they find interesting or boring.
We show that FM-based MoIs improve open-ended learning by focusing on tasks
that are both learnable $\textit{and interesting}$, outperforming baselines
based on uniform task sampling or learning progress alone. This approach has
the potential to dramatically advance the ability to intelligently select which
tasks to focus on next (i.e., auto-curricula), and could be seen as AI
selecting its own next task to learn, facilitating self-improving AI and
AI-Generating Algorithms. Project website at https://www.jennyzhangzt.com/omni/
- Abstract（参考訳）: オープンエンドアルゴリズムは、新しい興味深い振る舞いを永遠に学習することを目的としている。
これには広大な環境探索スペースが必要ですが、無限に多くのタスクが存在します。
タスクをフィルタリングした後でも、現在のエージェントは学習できる(つまり、進歩を学ぶ)。
open-endedness researchのアキレス・ヒールは、学習可能なタスクだけでなく、$\textit{interesting}$(例えば、価値とノベル)を定量化(そして優先順位付け)することができないことである。
我々は、この問題を解決するために、$\textit{Open-endedness via Models of Human Notions of Interestingness}$ (OMNI)を提案する。
この知見は、ファンデーションモデル(FM)を面白さのモデル(MoI)として利用することができる、なぜなら、それらが$\textit{already}$ 人間の関心の概念を、膨大な量の人間が生成したデータのトレーニングから内部化するからである。
FMベースのMoIは学習可能な$\textit{and interesting}$にフォーカスすることでオープンエンド学習を改善し、一様タスクサンプリングや学習進捗のみに基づくベースラインよりも優れていることを示す。
このアプローチは、次にフォーカスすべきタスク(すなわちオートクラキュラ)を知的に選択する能力を劇的に向上させる可能性があり、AIが学習する次のタスクを選択することで、自己改善型のAIとAI生成アルゴリズムが促進される可能性がある。
Project website at https://www.jennyzhangzt.com/omni/
関連論文リスト
- OMNI-EPIC: Open-endedness via Models of human Notions of Interestingness with Environments Programmed in Code [6.067502582087556]
オープンエンドおよびAI生成アルゴリズムは、ますます複雑なタスクを無期限に生成し、解決することを目的としている。
この壮大なビジョンを達成するためには、学習は潜在的なタスクの膨大な範囲内で行われなければならない。
OMNI-EPICという新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2024-05-24T13:57:32Z) - TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with
Millions of APIs [71.7495056818522]
私たちは、基礎モデルと数百万のAPIを結合してタスク補完を行う、新しいAIエコシステムとしてTaskMatrix.AIを紹介します。
このようなエコシステムを構築するためのビジョンを示し、それぞれの重要なコンポーネントを説明し、このビジョンの実現可能性と次に取り組むべき主な課題の両方を説明するために研究ケースを使用します。
論文 参考訳（メタデータ） (2023-03-29T03:30:38Z) - Open-Ended Reinforcement Learning with Neural Reward Functions [2.4366811507669115]
高次元ロボット環境では、ハーフチェエタのフロントフリップやヒューマノイドの片足ランニングなど、幅広い興味深いスキルを学びます。
ピクセルベースのMontezumaのRevenge環境では、我々の手法は最小限の変更でも機能し、アイテムとのインタラクションや多様な場所の訪問に関わる複雑なスキルを学ぶ。
論文 参考訳（メタデータ） (2022-02-16T15:55:22Z) - From Psychological Curiosity to Artificial Curiosity: Curiosity-Driven
Learning in Artificial Intelligence Tasks [56.20123080771364]
心理学的好奇心は、探索と情報取得を通じて学習を強化するために、人間の知性において重要な役割を果たす。
人工知能(AI)コミュニティでは、人工好奇心は効率的な学習に自然な本質的な動機を与える。
CDLはますます人気を博し、エージェントは新たな知識を学習するために自己動機付けされている。
論文 参考訳（メタデータ） (2022-01-20T17:07:03Z) - Knowledge accumulating: The general pattern of learning [5.174379158867218]
現実世界のタスクを解決するには、タスク固有の機能に合うようにアルゴリズムを調整する必要があります。
一つのアルゴリズムは、どのように改善しても、密集したフィードバックタスクや、特定のスパースなフィードバックタスクだけを解くことができる。
本稿ではまず,スパースフィードバックがアルゴリズムのパーファマンスにどのように影響するかを解析し,その上で,スパースフィードバック問題を解決するために知識を蓄積する方法を説明するパターンを提案する。
論文 参考訳（メタデータ） (2021-08-09T12:41:28Z) - The MineRL BASALT Competition on Learning from Human Feedback [58.17897225617566]
MineRL BASALTコンペティションは、この重要な種類の技術の研究を促進することを目的としている。
Minecraftでは、ハードコードされた報酬関数を書くのが難しいと期待する4つのタスクのスイートを設計しています。
これら4つのタスクのそれぞれについて、人間のデモのデータセットを提供するとともに、模擬学習ベースラインを提供する。
論文 参考訳（メタデータ） (2021-07-05T12:18:17Z) - COG: Connecting New Skills to Past Experience with Offline Reinforcement
Learning [78.13740204156858]
我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。
我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。
我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
論文 参考訳（メタデータ） (2020-10-27T17:57:29Z) - Dark, Beyond Deep: A Paradigm Shift to Cognitive AI with Humanlike
Common Sense [142.53911271465344]
我々は、次世代のAIは、新しいタスクを解決するために、人間のような「暗黒」の常識を取り入れなければならないと論じている。
我々は、人間のような常識を持つ認知AIの5つの中核領域として、機能、物理学、意図、因果性、実用性(FPICU)を識別する。
論文 参考訳（メタデータ） (2020-04-20T04:07:28Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳（メタデータ） (2020-03-06T19:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。