論文の概要: AgentOps: Enabling Observability of LLM Agents

• arxiv url: http://arxiv.org/abs/2411.05285v2
• Date: Sat, 30 Nov 2024 02:55:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:56:50.273466
• Title: AgentOps: Enabling Observability of LLM Agents
• Title（参考訳）: AgentOps: LLMエージェントの可観測性の実現
• Authors: Liming Dong, Qinghua Lu, Liming Zhu,
• Abstract要約: 大規模言語モデル(LLM)エージェントは、自律的で非決定論的行動のため、AI安全性に重大な懸念を提起する。 本稿では,エージェントのライフサイクル全体を通じて追跡されるべきアーティファクトと関連するデータを特定し,効果的な観測可能性を実現するための,AgentOpsの包括的な分類法を提案する。 私たちの分類は、監視、ロギング、分析をサポートするAgentOpsインフラストラクチャを設計、実装するためのリファレンステンプレートとして機能します。
• 参考スコア（独自算出の注目度）: 12.49728300301026
• License:
• Abstract: Large language model (LLM) agents have demonstrated remarkable capabilities across various domains, gaining extensive attention from academia and industry. However, these agents raise significant concerns on AI safety due to their autonomous and non-deterministic behavior, as well as continuous evolving nature . From a DevOps perspective, enabling observability in agents is necessary to ensuring AI safety, as stakeholders can gain insights into the agents' inner workings, allowing them to proactively understand the agents, detect anomalies, and prevent potential failures. Therefore, in this paper, we present a comprehensive taxonomy of AgentOps, identifying the artifacts and associated data that should be traced throughout the entire lifecycle of agents to achieve effective observability. The taxonomy is developed based on a systematic mapping study of existing AgentOps tools. Our taxonomy serves as a reference template for developers to design and implement AgentOps infrastructure that supports monitoring, logging, and analytics. thereby ensuring AI safety.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、様々な領域で顕著な能力を示しており、学術や産業から広く注目を集めている。 しかし、これらのエージェントは、自律的で非決定的な振る舞いと継続的な進化する性質によって、AIの安全性に重大な懸念を提起する。 DevOpsの観点からは、エージェントの内部動作に関する洞察を得ることができ、エージェントを積極的に理解し、異常を検出し、潜在的な失敗を防ぐことができるため、エージェントの可観測性の実現は、AIの安全性を保証するために必要である。 そこで本稿では,エージェントのライフサイクル全体を通して追跡すべきアーティファクトと関連するデータを特定し,効果的な観測性を実現するための総合的な分類法を提案する。 分類学は、既存のAgentOpsツールの体系的なマッピング調査に基づいて開発されている。 私たちの分類は、監視、ロギング、分析をサポートするAgentOpsインフラストラクチャを設計、実装するためのリファレンステンプレートとして機能します。 AIの安全性を確保します

関連論文リスト

• Proactive Agent: Shifting LLM Agents from Reactive Responses to Active Assistance [95.03771007780976]
  我々は、人間の指示なしにタスクを予測および開始できるプロアクティブエージェントを開発するという課題に取り組む。 まず,実世界の人的活動を収集し,前向きなタスク予測を生成する。 これらの予測は、ヒトのアノテータによって受け入れられるか拒否されるかのどちらかとしてラベル付けされる。 ラベル付きデータは、人間の判断をシミュレートする報酬モデルをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-10-16T08:24:09Z)
• Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
  本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
  論文  参考訳（メタデータ） (2024-10-14T17:57:02Z)
• Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement [117.94654815220404]
  G"odel AgentはG"odelマシンにインスパイアされた自己進化型フレームワークである。 G"odel Agentは、パフォーマンス、効率、一般化性において手作業によるエージェントを上回る、継続的な自己改善を実現することができる。
  論文  参考訳（メタデータ） (2024-10-06T10:49:40Z)
• LLM-Agent-UMF: LLM-based Agent Unified Modeling Framework for Seamless Integration of Multi Active/Passive Core-Agents [0.0]
  LLM-Agent-UMF(LLM-Agent-UMF)に基づく新しいエージェント統一モデリングフレームワークを提案する。 我々のフレームワークはLLMエージェントの異なるコンポーネントを区別し、LLMとツールを新しい要素であるコアエージェントから分離する。 我々は,13の最先端エージェントに適用し,それらの機能との整合性を実証することによって,我々の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-09-17T17:54:17Z)
• Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence [79.5316642687565]
  既存のマルチエージェントフレームワークは、多種多様なサードパーティエージェントの統合に苦慮することが多い。 我々はこれらの制限に対処する新しいフレームワークであるInternet of Agents (IoA)を提案する。 IoAはエージェント統合プロトコル、インスタントメッセージのようなアーキテクチャ設計、エージェントのチーム化と会話フロー制御のための動的メカニズムを導入している。
  論文  参考訳（メタデータ） (2024-07-09T17:33:24Z)
• EvoAgent: Towards Automatic Multi-Agent Generation via Evolutionary Algorithms [55.77492625524141]
  EvoAgentは進化的アルゴリズムによって専門家エージェントをマルチエージェントシステムに自動的に拡張する汎用的な手法である。 EvoAgentは複数の専門家エージェントを自動生成し,LLMエージェントのタスク解決能力を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-06-20T11:49:23Z)
• KwaiAgents: Generalized Information-seeking Agent System with Large Language Models [33.59597020276034]
  人間は批判的思考、計画、リフレクション、世界と対話し解釈するための利用可能なツールの活用に優れています。 大規模言語モデル(LLM)の最近の進歩は、マシンが前述の人間のような能力を持っていることも示唆している。 LLMに基づく汎用情報検索システムであるKwaiAgentsを紹介する。
  論文  参考訳（メタデータ） (2023-12-08T08:11:11Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。