論文の概要: Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2406.00392v1
- Date: Sat, 1 Jun 2024 10:33:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 07:15:00.932487
- Title: Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning
- Title（参考訳）: 人工知能 : 強化学習における文化集積
- Authors: Jonathan Cook, Chris Lu, Edward Hughes, Joel Z. Leibo, Jakob Foerster,
- Abstract要約: 社会的学習と独立学習のバランスをとる訓練が文化的な蓄積をもたらすことを示す。
In-contextとIn-weightsの文化的な蓄積は、それぞれ知識とスキルの蓄積に類似していると解釈できる。
この研究は、強化学習における創発的な文化的蓄積を実現するための一般的なモデルを初めて提示するものである。
- 参考スコア（独自算出の注目度）: 5.930456214333413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cultural accumulation drives the open-ended and diverse progress in capabilities spanning human history. It builds an expanding body of knowledge and skills by combining individual exploration with inter-generational information transmission. Despite its widespread success among humans, the capacity for artificial learning agents to accumulate culture remains under-explored. In particular, approaches to reinforcement learning typically strive for improvements over only a single lifetime. Generational algorithms that do exist fail to capture the open-ended, emergent nature of cultural accumulation, which allows individuals to trade-off innovation and imitation. Building on the previously demonstrated ability for reinforcement learning agents to perform social learning, we find that training setups which balance this with independent learning give rise to cultural accumulation. These accumulating agents outperform those trained for a single lifetime with the same cumulative experience. We explore this accumulation by constructing two models under two distinct notions of a generation: episodic generations, in which accumulation occurs via in-context learning and train-time generations, in which accumulation occurs via in-weights learning. In-context and in-weights cultural accumulation can be interpreted as analogous to knowledge and skill accumulation, respectively. To the best of our knowledge, this work is the first to present general models that achieve emergent cultural accumulation in reinforcement learning, opening up new avenues towards more open-ended learning systems, as well as presenting new opportunities for modelling human culture.
- Abstract（参考訳）: 文化の蓄積は、人類の歴史にまたがる、オープンで多様な能力の進歩を促進する。
個々の探索と世代間情報伝達を組み合わせることで、知識とスキルの拡充を図っている。
人間の間で広く成功しているにもかかわらず、人工学習エージェントが文化を蓄積する能力はいまだ探索されていない。
特に、強化学習へのアプローチは、通常、たった一生で改善しようと努力する。
現存する世代別アルゴリズムは、個人の革新と模倣のトレードオフを可能にする、オープンで創発的な文化的蓄積の性質を捉えられない。
従来の強化学習エージェントが社会学習を行う能力に基づいて、これと独立学習のバランスをとる訓練装置が文化的な蓄積をもたらすことが判明した。
これらの蓄積剤は、同じ累積経験を持つ一生の訓練者より優れています。
本研究では,この蓄積を,2つの異なる世代概念に基づいて構築することで検討する。すなわち,蓄積は文脈内学習によって起こる,エピソード世代と,重み付き学習によって発生する列車時世代である。
In-contextとIn-weightsの文化的な蓄積は、それぞれ知識とスキルの蓄積に類似していると解釈できる。
我々の知る限り、この研究は、強化学習における創発的な文化的蓄積を実現し、よりオープンな学習システムへの新たな道を開くとともに、人間の文化をモデル化する新たな機会を提示する、最初の一般的なモデルである。
関連論文リスト
- Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
大きな言語モデル(LLM)は、一度のトレーニングのために最新の情報を提供するのに苦労することが多い。
効率的なヒューマンラーニングにおけるFeynman Techniqueの顕著な成功に感銘を受け、セルフチューニングを紹介した。
論文 参考訳（メタデータ） (2024-06-10T14:42:20Z) - Conserving Human Creativity with Evolutionary Generative Algorithms: A Case Study in Music Generation [0.0]
本研究では,音楽制作における進化的生成アルゴリズムの適用について検討し,人間の創造性を保ち,向上させる。
人間のフィードバックを微分進化アルゴリズムに組み込むことで、国際レコードレーベルに提出された6曲を制作しました。
論文 参考訳（メタデータ） (2024-06-09T18:11:05Z) - Cultural evolution in populations of Large Language Models [15.012901178522874]
本研究では,人間の振る舞いを模倣する大規模言語モデルの能力を利用することで,このギャップに対処できる可能性が示唆された。
人工エージェントは、文化の進化にますます参加することが求められているため、機械生成文化の進化のダイナミクスをより深く理解することが不可欠である。
本稿では, LLMの人口の文化的進化をシミュレーションする枠組みを提案し, 文化的進化において重要な変数の操作を可能にする。
論文 参考訳（メタデータ） (2024-03-13T18:11:17Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Cumulative culture spontaneously emerges in artificial navigators who
are social and memory-guided [0.0]
累積的な文化的進化は、適応的な革新が社会学習を通じて連続的に受け継がれるときに起こる。
このプロセスは人間の技術革新を形成するが、人間以外の種にも起こる。
累積的文化は、目標指向、社会的近接性、ルート記憶の最小限の認知的アーキテクチャでナビゲートする人工エージェントに自然に現れます。
論文 参考訳（メタデータ） (2022-06-13T16:10:39Z) - A Unified Continuous Learning Framework for Multi-modal Knowledge
Discovery and Pre-training [73.7507857547549]
本稿では,継続的学習フレームワークにおける知識発見とマルチモーダル事前学習の統合を提案する。
知識発見のために、事前訓練されたモデルを用いてグラフ上のクロスモーダルリンクを識別する。
モデル事前トレーニングでは、モデル更新をガイドする外部知識として知識グラフが使用される。
論文 参考訳（メタデータ） (2022-06-11T16:05:06Z) - Learning Robust Real-Time Cultural Transmission without Human Data [82.05222093231566]
人工知能エージェントにおけるゼロショット、高リコール文化伝達を生成する方法を提案する。
我々のエージェントは、事前に収集された人間のデータを使わずに、新しい文脈で人間からリアルタイムの文化的伝達に成功した。
これは、人工知能を開発するアルゴリズムとしての文化進化の道を開くものである。
論文 参考訳（メタデータ） (2022-03-01T19:32:27Z) - Growing knowledge culturally across generations to solve novel, complex
tasks [29.579223105173217]
言語による文化学習をリバースエンジニアリングする第一歩を踏み出します。
我々は,ミニマリスト型ビデオゲームという形で,複雑なハイテイクタスクのスイートを開発する。
知識は世代によって徐々に蓄積され、その後の世代はゲームでさらに前進した。
論文 参考訳（メタデータ） (2021-07-28T14:09:40Z) - Emergent Social Learning via Multi-agent Reinforcement Learning [91.57176641192771]
社会学習は、人間と動物の知性の重要な構成要素である。
本稿では,独立系強化学習エージェントが,社会的学習を用いてパフォーマンスを向上させることを学べるかどうかを検討する。
論文 参考訳（メタデータ） (2020-10-01T17:54:14Z) - Language Generation with Multi-Hop Reasoning on Commonsense Knowledge
Graph [124.45799297285083]
知識グラフの構造的情報と意味的情報の両方を活用することで、コモンセンスを意識したテキスト生成が促進されると主張している。
本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するマルチホップ推論フロー(GRF)の生成を提案する。
論文 参考訳（メタデータ） (2020-09-24T13:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。