論文の概要: Sibyl: Simple yet Effective Agent Framework for Complex Real-world Reasoning

• arxiv url: http://arxiv.org/abs/2407.10718v2
• Date: Tue, 16 Jul 2024 14:16:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 13:14:33.732413
• Title: Sibyl: Simple yet Effective Agent Framework for Complex Real-world Reasoning
• Title（参考訳）: Sibyl: 複雑な実世界の推論のためのシンプルで効果的なエージェントフレームワーク
• Authors: Yulong Wang, Tianhao Shen, Lifeng Liu, Jian Xie,
• Abstract要約: Sibylは、最小限のツールセットを効率的に活用することによって、複雑な推論タスクに取り組むように設計された強力なフレームワークである。 Sibylは、最終回答を自己定義し、包括的でバランスの取れたアプローチを確保するために、マルチエージェントの議論に基づく陪審を実施。 GAIAベンチマークテストセットの実験結果から,Sibylエージェントは平均スコア34.55%の最先端性能を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 12.80689911863731
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing agents based on large language models (LLMs) demonstrate robust problem-solving capabilities by integrating LLMs' inherent knowledge, strong in-context learning and zero-shot capabilities, and the use of tools combined with intricately designed LLM invocation workflows by humans. However, these agents still exhibit shortcomings in long-term reasoning and under-use the potential of existing tools, leading to noticeable deficiencies in complex real-world reasoning scenarios. To address these limitations, we introduce Sibyl, a simple yet powerful LLM-based agent framework designed to tackle complex reasoning tasks by efficiently leveraging a minimal set of tools. Drawing inspiration from Global Workspace Theory, Sibyl incorporates a global workspace to enhance the management and sharing of knowledge and conversation history throughout the system. Furthermore, guided by Society of Mind Theory, Sibyl implements a multi-agent debate-based jury to self-refine the final answers, ensuring a comprehensive and balanced approach. This approach aims to reduce system complexity while expanding the scope of problems solvable-from matters typically resolved by humans in minutes to those requiring hours or even days, thus facilitating a shift from System-1 to System-2 thinking. Sibyl has been designed with a focus on scalability and ease of debugging by incorporating the concept of reentrancy from functional programming from its inception, with the aim of seamless and low effort integration in other LLM applications to improve capabilities. Our experimental results on the GAIA benchmark test set reveal that the Sibyl agent instantiated with GPT-4 achieves state-of-the-art performance with an average score of 34.55%, compared to other agents based on GPT-4. We hope that Sibyl can inspire more reliable and reusable LLM-based agent solutions to address complex real-world reasoning tasks.
• Abstract（参考訳）: 大きな言語モデル(LLM)に基づく既存のエージェントは、LLM固有の知識、強いコンテキスト内学習とゼロショット機能を統合することで堅牢な問題解決能力を実証し、人間によって複雑な設計のLLM呼び出しワークフローと組み合わせたツールの使用を実証している。 しかし、これらのエージェントは依然として長期的な推論の欠点を示しており、既存のツールの可能性を過小評価しているため、複雑な実世界の推論シナリオでは顕著な欠陥が生じる。 これらの制約に対処するために、我々は、最小限のツールセットを効率的に活用することによって複雑な推論タスクに対処するために設計された、シンプルだが強力なLLMベースのエージェントフレームワークであるSibylを紹介した。 グローバルワークスペース理論(Global Workspace Theory)からインスピレーションを得たSibylは、システム全体の知識と会話履歴の管理と共有を強化するグローバルワークスペースを取り入れている。 さらに、ソサイエティ・オブ・マインド理論(Society of Mind Theory)によって導かれ、シビルは、最終答を自己定義し、包括的でバランスの取れたアプローチを確保するために、マルチエージェントの議論に基づく陪審を実践している。 このアプローチは、解決可能な問題の範囲を数分で解決できるものから数時間、あるいは数日を要するものへと拡大し、システム1からシステム2へのシフトを促進することを目的としている。 Sibylはスケーラビリティとデバッグの容易性に重点を置いて設計されており、関数型プログラミングから再帰性の概念を最初から取り入れており、他のLLMアプリケーションとシームレスで低労力で統合して機能を改善することを目的としている。 GAIAベンチマークの試験結果から, GPT-4を用いたSibylエージェントは, GPT-4に基づく他のエージェントと比較して, 平均スコアが34.55%の最先端性能が得られることがわかった。 Sibylがより信頼性が高く再利用可能なLCMベースのエージェントソリューションに刺激を与え、複雑な実世界の推論タスクに対処できることを願っている。

関連論文リスト

• ConceptAgent: LLM-Driven Precondition Grounding and Tree Search for Robust Task Planning and Execution [33.252158560173655]
  ConceptAgentは、非構造化環境でのタスク実行用に設計された自然言語駆動のロボットプラットフォームである。 本研究では,1)不可能な行動の防止と回復を目的とした述語接地,2)自己反射を用いたLLM誘導モンテカルロ木探索の具体化など,欠点を抑えるために設計されたイノベーションを提案する。
  論文  参考訳（メタデータ） (2024-10-08T15:05:40Z)
• Large Language Models for Base Station Siting: Intelligent Deployment based on Prompt or Agent [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 このアプローチは、人間の経験と知識をこれらの洗練されたLLMに注入するために、巧妙なプロンプトの戦略的利用を必要とする。 この統合は、サービスとしての人工知能(AI)と、より容易なAIの将来のパラダイムを表している。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Adaptive In-conversation Team Building for Language Model Agents [33.03550687362213]
  複数の大規模言語モデル(LLM)エージェントを活用することは、複雑なタスクに取り組む上で有望なアプローチであることが示されている。 私たちの新しい適応型チーム構築パラダイムは、Captain Agentという新しいエージェント設計を通じて実現された柔軟なソリューションを提供します。 6つの実世界のシナリオに対する包括的な評価は、Captain Agentが既存のマルチエージェントメソッドを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-05-29T18:08:37Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• Smurfs: Leveraging Multiple Proficiency Agents with Context-Efficiency for Tool Planning [14.635361844362794]
  Smurfs'は、大規模言語モデルの応用に革命をもたらすために設計された最先端のマルチエージェントフレームワークである。 Smurfは、余分なコストなしで複雑なタスクを解くモデルの能力を高めることができる。
  論文  参考訳（メタデータ） (2024-05-09T17:49:04Z)
• Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
  オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。 現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
  論文  参考訳（メタデータ） (2024-03-29T03:48:12Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)
• Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
  Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。 人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。 我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-09-30T07:11:39Z)
• TPTU: Large Language Model-based AI Agents for Task Planning and Tool Usage [28.554981886052953]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションのための強力なツールとして登場した。 LLMの本質的な生成能力は、その長所にもかかわらず、複雑なタスクを扱うには不十分である。 本稿では,LLMベースのAIエージェントに適した構造化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-07T09:22:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。