論文の概要: Symbolic Learning Enables Self-Evolving Agents

• arxiv url: http://arxiv.org/abs/2406.18532v1
• Date: Wed, 26 Jun 2024 17:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 12:40:34.575055
• Title: Symbolic Learning Enables Self-Evolving Agents
• Title（参考訳）: 自己進化型エージェントを実現するシンボリックラーニング
• Authors: Wangchunshu Zhou, Yixin Ou, Shengwei Ding, Long Li, Jialong Wu, Tiannan Wang, Jiamin Chen, Shuai Wang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang,
• Abstract要約: エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
• 参考スコア（独自算出の注目度）: 55.625275970720374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The AI community has been exploring a pathway to artificial general intelligence (AGI) by developing "language agents", which are complex large language models (LLMs) pipelines involving both prompting techniques and tool usage methods. While language agents have demonstrated impressive capabilities for many real-world tasks, a fundamental limitation of current language agents research is that they are model-centric, or engineering-centric. That's to say, the progress on prompts, tools, and pipelines of language agents requires substantial manual engineering efforts from human experts rather than automatically learning from data. We believe the transition from model-centric, or engineering-centric, to data-centric, i.e., the ability of language agents to autonomously learn and evolve in environments, is the key for them to possibly achieve AGI. In this work, we introduce agent symbolic learning, a systematic framework that enables language agents to optimize themselves on their own in a data-centric way using symbolic optimizers. Specifically, we consider agents as symbolic networks where learnable weights are defined by prompts, tools, and the way they are stacked together. Agent symbolic learning is designed to optimize the symbolic network within language agents by mimicking two fundamental algorithms in connectionist learning: back-propagation and gradient descent. Instead of dealing with numeric weights, agent symbolic learning works with natural language simulacrums of weights, loss, and gradients. We conduct proof-of-concept experiments on both standard benchmarks and complex real-world tasks and show that agent symbolic learning enables language agents to update themselves after being created and deployed in the wild, resulting in "self-evolving agents".
• Abstract（参考訳）: AIコミュニティは、複雑な大規模言語モデル(LLM)パイプラインである"言語エージェント"を開発することによって、人工知能(AGI)への道を模索してきた。 言語エージェントは多くの実世界のタスクに対して印象的な能力を示してきたが、現在の言語エージェントの研究の基本的な制限は、それらがモデル中心、またはエンジニアリング中心であることである。 つまり、言語エージェントのプロンプト、ツール、パイプラインの進歩には、データから自動的に学習するのではなく、人間の専門家によるかなりの手作業が必要です。 私たちは、モデル中心、またはエンジニアリング中心からデータ中心への移行、すなわち、言語エージェントが自律的に環境の中で学習し、進化する能力への移行が、彼らがAGIを達成するための鍵であると信じています。 本研究では,言語エージェントがシンボリック・オプティマイザを用いて,データ中心の方法で自分自身を最適化することのできる,体系的なフレームワークであるエージェントシンボリック・ラーニングを紹介する。 具体的には、学習可能な重みがプロンプト、ツール、そしてそれらが積み重ねられる方法によって定義されるシンボリックネットワークとしてエージェントを考察する。 エージェント記号学習は、バックプロパゲーションと勾配降下という2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 数値重みを扱う代わりに、エージェント記号学習は、重み、損失、勾配の自然言語シミュラクルで動作する。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行い、エージェントシンボル学習によって言語エージェントが野生で作成、デプロイされた後に自分自身を更新できることを示す。

関連論文リスト

• AgentGym: Evolving Large Language Model-based Agents across Diverse Environments [116.97648507802926]
  大規模言語モデル(LLM)はそのようなエージェントを構築するための有望な基盤と考えられている。 我々は、自己進化能力を備えた一般機能 LLM ベースのエージェントを構築するための第一歩を踏み出す。 我々はAgentGymを提案する。AgentGymは、幅広い、リアルタイム、ユニフォーマット、並行エージェント探索のための様々な環境とタスクを特徴とする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-06-06T15:15:41Z)
• Interpretable Robotic Manipulation from Language [11.207620790833271]
  本稿では,操作タスクに特化して設計された,Ex-PERACTという説明可能な行動クローニングエージェントを紹介する。 トップレベルでは、モデルは個別のスキルコードを学ぶことを任務とし、下位レベルでは、ポリシーネットワークは問題をボクセル化されたグリッドに変換し、離散化されたアクションをボクセルグリッドにマップする。 提案手法は,RLBenchベンチマークを用いた8つの操作課題にまたがって評価し,Ex-PERACTが競合する政策性能を達成するだけでなく,複雑な環境下でのヒューマンインストラクションとマシン実行のギャップを効果的に橋渡しすることを示した。
  論文  参考訳（メタデータ） (2024-05-27T11:02:21Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• Agents: An Open-source Framework for Autonomous Language Agents [98.91085725608917]
  我々は、言語エージェントを人工知能への有望な方向と見なしている。 Agentsはオープンソースライブラリで、これらの進歩を広く非専門的な聴衆に開放することを目的としています。
  論文  参考訳（メタデータ） (2023-09-14T17:18:25Z)
• Cognitive Architectures for Language Agents [44.89258267600489]
  言語エージェントのための認知アーキテクチャ(CoALA)を提案する。 CoALAはモジュラーメモリコンポーネントを備えた言語エージェント、内部メモリと外部環境と相互作用する構造化されたアクションスペース、アクションを選択するための一般的な意思決定プロセスを記述する。 我々は、CoALAを使用して、振り返りによる調査と、最近の多くの作業の組織化を行い、より有能なエージェントに対する行動可能な方向を前向きに特定します。
  論文  参考訳（メタデータ） (2023-09-05T17:56:20Z)
• Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization [103.70896967077294]
  本稿では,レトロスペクティブモデルを学習することで,大規模言語エージェントを強化するための原則的枠組みを提案する。 提案するエージェントアーキテクチャは,事前学習した言語モデルを微調整するために,複数の環境やタスクにまたがる報酬から学習する。 様々なタスクの実験結果から、言語エージェントは時間とともに改善することが示された。
  論文  参考訳（メタデータ） (2023-08-04T06:14:23Z)
• Learning to Model the World with Language [100.76069091703505]
  人間と対話し、世界で行動するためには、エージェントは人々が使用する言語の範囲を理解し、それを視覚の世界に関連付ける必要がある。 私たちのキーとなるアイデアは、エージェントが将来を予測するのに役立つ信号として、このような多様な言語を解釈すべきである、ということです。 我々は、将来のテキストや画像表現を予測するマルチモーダル世界モデルを学ぶエージェントであるDynalangでこれをインスタンス化する。
  論文  参考訳（メタデータ） (2023-07-31T17:57:49Z)
• Towards A Unified Agent with Foundation Models [18.558328028366816]
  強化学習(RL)エージェントにそのような能力を組み込んで活用する方法を検討する。 我々は、言語を中核的推論ツールとして使用するフレームワークを設計し、エージェントが一連の基本的なRL課題にどのように取り組むことができるかを探る。 探索効率とオフラインデータセットからのデータの再利用能力において,ベースラインよりも大幅にパフォーマンスが向上したことを示す。
  論文  参考訳（メタデータ） (2023-07-18T22:37:30Z)
• Human Instruction-Following with Deep Reinforcement Learning via Transfer-Learning from Text [12.88819706338837]
  近年の研究では、ニューラルネットワークベースのエージェントが強化学習によって訓練され、シミュレートされた世界で言語のようなコマンドを実行することが説明されている。 本稿では,人間の指示に頑健な深層RLを用いた指示追従エージェントの訓練方法を提案する。
  論文  参考訳（メタデータ） (2020-05-19T12:16:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。