論文の概要: Lifelong Learning of Large Language Model based Agents: A Roadmap

• arxiv url: http://arxiv.org/abs/2501.07278v1
• Date: Mon, 13 Jan 2025 12:42:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:25:24.533360
• Title: Lifelong Learning of Large Language Model based Agents: A Roadmap
• Title（参考訳）: 大規模言語モデルに基づくエージェントの生涯学習 : ロードマップ
• Authors: Junhao Zheng, Chengming Shi, Xidi Cai, Qiuke Li, Duzhen Zhang, Chenxing Li, Dong Yu, Qianli Ma,
• Abstract要約: 連続的・漸進的な学習として知られる生涯学習は、人工知能(AGI)を前進させる重要な要素である この調査は、生涯学習を大規模言語モデル(LLM)に組み込むための潜在的テクニックを体系的にまとめる最初のものである。 これらの柱が集合的に連続的な適応を可能にし、破滅的な忘れを軽減し、長期的なパフォーマンスを向上させる方法について強調する。
• 参考スコア（独自算出の注目度）: 39.01532420650279
• License:
• Abstract: Lifelong learning, also known as continual or incremental learning, is a crucial component for advancing Artificial General Intelligence (AGI) by enabling systems to continuously adapt in dynamic environments. While large language models (LLMs) have demonstrated impressive capabilities in natural language processing, existing LLM agents are typically designed for static systems and lack the ability to adapt over time in response to new challenges. This survey is the first to systematically summarize the potential techniques for incorporating lifelong learning into LLM-based agents. We categorize the core components of these agents into three modules: the perception module for multimodal input integration, the memory module for storing and retrieving evolving knowledge, and the action module for grounded interactions with the dynamic environment. We highlight how these pillars collectively enable continuous adaptation, mitigate catastrophic forgetting, and improve long-term performance. This survey provides a roadmap for researchers and practitioners working to develop lifelong learning capabilities in LLM agents, offering insights into emerging trends, evaluation metrics, and application scenarios. Relevant literature and resources are available at \href{this url}{https://github.com/qianlima-lab/awesome-lifelong-llm-agent}.
• Abstract（参考訳）: 生涯学習(英: Lifelong learning)または連続学習(英: Continuousal learning)または漸進学習(英: incremental learning)は、システムが動的環境に継続的に適応できるようにすることによって、人工知能(英語版)(AGI)を前進させる重要な要素である。 大規模言語モデル(LLM)は自然言語処理において顕著な能力を示しているが、既存のLLMエージェントは静的システム用に設計されており、新しい課題に対応する時間とともに適応する能力がない。 この調査は、LCMベースのエージェントに生涯学習を組み込むための潜在的テクニックを体系的にまとめる最初のものである。 本稿では,これらのエージェントのコアコンポーネントを,マルチモーダル入力統合のための知覚モジュール,進化する知識の保存と検索のためのメモリモジュール,動的環境との接地相互作用のためのアクションモジュールの3つのモジュールに分類する。 これらの柱が集合的に連続的な適応を可能にし、破滅的な忘れを軽減し、長期的なパフォーマンスを向上させる方法について強調する。 この調査は、LLMエージェントにおける生涯学習機能の開発に取り組んでいる研究者や実践者にロードマップを提供し、新たなトレンド、評価指標、アプリケーションシナリオに関する洞察を提供する。 関連文献とリソースは \href{this url}{https://github.com/qianlima-lab/awesome-lifelong-llm-agent} で入手できる。

関連論文リスト

• A Survey on Large Language Models with some Insights on their Capabilities and Limitations [0.3222802562733786]
  大規模言語モデル(LLM)は、様々な言語関連タスクで顕著なパフォーマンスを示す。 LLMは、そのコア機能を超えて、創発的な能力を示す。 本稿では,これらの機能を実現する基盤となるコンポーネント,スケーリング機構,アーキテクチャ戦略について検討する。
  論文  参考訳（メタデータ） (2025-01-03T21:04:49Z)
• Active Inference for Self-Organizing Multi-LLM Systems: A Bayesian Thermodynamic Approach to Adaptation [0.0]
  本稿では,大規模言語モデル(LLM)とアクティブ推論を統合し,適応型言語エージェントを作成するための新しいアプローチを提案する。 本フレームワークは,3つの状態要因(確率,探索,情報状態)を用いて環境をモデル化する。 実験により、エージェントが環境力学の正確なモデルを開発することにより、このアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2024-12-10T16:34:47Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
  LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。 各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。 検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
  論文  参考訳（メタデータ） (2024-09-04T17:01:02Z)
• Towards Lifelong Learning of Large Language Models: A Survey [20.0936011355535]
  この調査は、生涯学習の洗練された風景を掘り下げ、戦略を2つの主要なグループ、内的知識と内的知識に分類する。 本研究では,実世界のアプリケーションにおける大規模言語モデルの適応性,信頼性,全体的な性能を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-06-10T15:46:25Z)
• Traj-LLM: A New Exploration for Empowering Trajectory Prediction with Pre-trained Large Language Models [12.687494201105066]
  本稿では,Traj-LLMを提案する。Large Language Models (LLMs) を用いて,エージェントの過去の/観測された軌跡やシーンセマンティクスから将来の動きを生成する可能性について検討する。 LLMの強力な理解能力は、ハイレベルなシーン知識とインタラクティブな情報のスペクトルを捉えている。 人為的な車線焦点認知機能を模倣し,先駆的なMambaモジュールを用いた車線認識確率論的学習を導入する。
  論文  参考訳（メタデータ） (2024-05-08T09:28:04Z)
• A Survey on the Memory Mechanism of Large Language Model based Agents [66.4963345269611]
  大規模言語モデル(LLM)に基づくエージェントは、最近、研究や産業コミュニティから多くの注目を集めている。 LLMベースのエージェントは、現実の問題を解決する基礎となる自己進化能力に特徴付けられる。 エージェント-環境相互作用をサポートする重要なコンポーネントは、エージェントのメモリである。
  論文  参考訳（メタデータ） (2024-04-21T01:49:46Z)
• Advances in Embodied Navigation Using Large Language Models: A Survey [16.8165925743264]
  この記事では、Large Language ModelsとEmbodied Intelligenceの共生について概説する。 最先端のモデル、研究方法論をレビューし、既存の埋め込みナビゲーションモデルとデータセットの利点とデメリットを評価する。 最後に, 本論文は, インテリジェンスにおけるLLMの役割を解明し, 今後の方向性を予測している。
  論文  参考訳（メタデータ） (2023-11-01T14:08:56Z)
• ExpeL: LLM Agents Are Experiential Learners [57.13685954854463]
  実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。 我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。 推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
  論文  参考訳（メタデータ） (2023-08-20T03:03:34Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。