論文の概要: Long Term Memory: The Foundation of AI Self-Evolution

• arxiv url: http://arxiv.org/abs/2410.15665v1
• Date: Mon, 21 Oct 2024 06:09:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:12.781573
• Title: Long Term Memory: The Foundation of AI Self-Evolution
• Title（参考訳）: 長期記憶:AIの自己進化の基礎
• Authors: Xun Jiang, Feng Li, Han Zhao, Jiaying Wang, Jun Shao, Shihao Xu, Shu Zhang, Weiling Chen, Xavier Tang, Yize Chen, Mengyue Wu, Weizhi Ma, Mengdi Wang, Tianqiao Chen,
• Abstract要約: GPTのような大規模な言語モデル(LLM)は、膨大なデータセットに基づいてトレーニングされており、言語理解、推論、計画において印象的な能力を示している。 ほとんどの研究は、より強力な基盤モデルを構築するために、より大規模なデータセットをトレーニングすることで、これらのモデルを強化することに重点を置いている。 大規模なトレーニングとは異なり、推論中にモデルを進化させることは、AIの自己進化(self-evolution)と呼ばれるプロセスと同等に重要である。
• 参考スコア（独自算出の注目度）: 48.52678410533424
• License:
• Abstract: Large language models (LLMs) like GPTs, trained on vast datasets, have demonstrated impressive capabilities in language understanding, reasoning, and planning, achieving human-level performance in various tasks. Most studies focus on enhancing these models by training on ever-larger datasets to build more powerful foundation models. While training stronger models is important, enabling models to evolve during inference is equally crucial, a process we refer to as AI self-evolution. Unlike large-scale training, self-evolution may rely on limited data or interactions. Inspired by the columnar organization of the human cerebral cortex, we hypothesize that AI models could develop cognitive abilities and build internal representations through iterative interactions with their environment. To achieve this, models need long-term memory (LTM) to store and manage processed interaction data. LTM supports self-evolution by representing diverse experiences across environments and agents. In this report, we explore AI self-evolution and its potential to enhance models during inference. We examine LTM's role in lifelong learning, allowing models to evolve based on accumulated interactions. We outline the structure of LTM and the systems needed for effective data retention and representation. We also classify approaches for building personalized models with LTM data and show how these models achieve self-evolution through interaction. Using LTM, our multi-agent framework OMNE achieved first place on the GAIA benchmark, demonstrating LTM's potential for AI self-evolution. Finally, we present a roadmap for future research, emphasizing the importance of LTM for advancing AI technology and its practical applications.
• Abstract（参考訳）: GPTのような大規模言語モデル(LLM)は、膨大なデータセットに基づいてトレーニングされており、言語理解、推論、計画、さまざまなタスクにおける人間レベルのパフォーマンスの実現において、素晴らしい能力を発揮している。 ほとんどの研究は、より強力な基盤モデルを構築するために、より大規模なデータセットをトレーニングすることで、これらのモデルを強化することに重点を置いている。 より強力なモデルをトレーニングすることが重要であり、推論中にモデルを進化させるのも同様に重要ですが、このプロセスはAIの自己進化と呼ばれます。 大規模なトレーニングとは異なり、自己進化は限られたデータやインタラクションに依存します。 人間の大脳皮質の柱状構造にインスパイアされた我々は、AIモデルが認知能力を発達させ、環境との反復的な相互作用を通じて内部表現を構築することができると仮説を立てた。 これを実現するために、モデルには処理されたインタラクションデータの保存と管理に長期メモリ(LTM)が必要である。 LTMは環境やエージェントにまたがる多様な体験を表現することで、自己進化をサポートする。 本稿では,AIの自己進化とその推論におけるモデル強化の可能性について検討する。 生涯学習におけるLTMの役割を考察し、蓄積された相互作用に基づいてモデルを進化させることができる。 LTMの構造と効率的なデータ保持・表現に必要なシステムについて概説する。 また、LTMデータを用いてパーソナライズされたモデルを構築するためのアプローチを分類し、これらのモデルが相互作用を通じて自己進化を実現する方法を示す。 LTMを使って、私たちのマルチエージェントフレームワークOMNEはGAIAベンチマークで1位を獲得し、LTMがAI自己進化の可能性を実証しました。 最後に、今後の研究のロードマップを示し、AI技術の進歩におけるLTMの重要性とその実践的応用を強調した。

関連論文リスト

• Self-Evolved Reward Learning for LLMs [45.6910747154447]
  RLHF(Reinforcement Learning from Human Feedback)は、言語モデルと人間の嗜好を整合させる重要な手法である。 本稿では、RMが反復的に自己改善するための追加のトレーニングデータを生成する新しいアプローチである自己進化リワード学習(SER:Self-Evolved Reward Learning)を提案する。 以上の結果から,人間による注釈付きデータであっても,自己フィードバックから学習することで,RM性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-01T07:29:03Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• Fine-tuning large language models for domain adaptation: Exploration of training strategies, scaling, model merging and synergistic capabilities [4.389938747401259]
  本研究は、材料科学や工学などの分野における大規模言語モデル(LLM)に対する微調整戦略の効果について考察する。 複数の微調整モデルの融合は、親モデルの個々の貢献を超越した能力の出現につながる可能性がある。
  論文  参考訳（メタデータ） (2024-09-05T11:49:53Z)
• A Survey on Self-Evolution of Large Language Models [116.54238664264928]
  大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。 この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
  論文  参考訳（メタデータ） (2024-04-22T17:43:23Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Pre-Trained Models: Past, Present and Future [126.21572378910746]
  大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
  論文  参考訳（メタデータ） (2021-06-14T02:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。