論文の概要: Agent Identity Evals: Measuring Agentic Identity
- arxiv url: http://arxiv.org/abs/2507.17257v1
- Date: Wed, 23 Jul 2025 06:56:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:14.887861
- Title: Agent Identity Evals: Measuring Agentic Identity
- Title（参考訳）: Agent Identity Evals: Agentic Identityの測定
- Authors: Elija Perrier, Michael Timothy Bennett,
- Abstract要約: 我々は,LMAシステムがエージェントアイデンティティを時間とともに保持する程度を測定するための,厳密で統計的に駆動された実証的なフレームワークであるテクスタイジェント・アイデンティティ・エバルス(AIE)を紹介した。
AIEは、最適なLMAインフラストラクチャの設計を支援するために、他のパフォーマンス、能力、エージェントの指標と統合できる新しいメトリクスのセットで構成されている。
- 参考スコア（独自算出の注目度）: 0.5524804393257919
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Central to agentic capability and trustworthiness of language model agents (LMAs) is the extent they maintain stable, reliable, identity over time. However, LMAs inherit pathologies from large language models (LLMs) (statelessness, stochasticity, sensitivity to prompts and linguistically-intermediation) which can undermine their identifiability, continuity, persistence and consistency. This attrition of identity can erode their reliability, trustworthiness and utility by interfering with their agentic capabilities such as reasoning, planning and action. To address these challenges, we introduce \textit{agent identity evals} (AIE), a rigorous, statistically-driven, empirical framework for measuring the degree to which an LMA system exhibit and maintain their agentic identity over time, including their capabilities, properties and ability to recover from state perturbations. AIE comprises a set of novel metrics which can integrate with other measures of performance, capability and agentic robustness to assist in the design of optimal LMA infrastructure and scaffolding such as memory and tools. We set out formal definitions and methods that can be applied at each stage of the LMA life-cycle, and worked examples of how to apply them.
- Abstract（参考訳）: 言語モデルエージェント(LMA)のエージェント能力と信頼性の中心は、時間とともに安定し、信頼性があり、アイデンティティを維持できる程度である。
しかし、LMAは、その識別可能性、連続性、持続性、一貫性を損なう大きな言語モデル(LLM)から、病理学(ステートレス性、確率性、プロンプトへの感受性、言語学的修復)を継承する。
このアイデンティティの誘惑は、推論、計画、行動といったエージェント能力に干渉することによって、信頼性、信頼性、実用性を損なう可能性がある。
これらの課題に対処するために、LMAシステムが時間とともにエージェントアイデンティティを提示し維持する程度を測定するための厳密で統計的に駆動された実証的なフレームワークである「textit{agent identity evals} (AIE)」を紹介した。
AIEは、パフォーマンス、能力、エージェントの堅牢性といった他の指標と統合して、最適なLMAインフラストラクチャやメモリやツールなどの足場の設計を支援する、一連の新しいメトリクスで構成されている。
LMAライフサイクルの各段階で適用可能な公式な定義と方法を設定し,適用方法の例を示した。
関連論文リスト
- A Survey of Self-Evolving Agents: On Path to Artificial Super Intelligence [87.08051686357206]
大きな言語モデル(LLM)は強力な能力を示しているが、基本的に静的である。
LLMはますますオープンでインタラクティブな環境にデプロイされているため、この静的な性質は重要なボトルネックとなっている。
この調査は、自己進化エージェントの体系的で包括的なレビューを初めて提供する。
論文 参考訳（メタデータ） (2025-07-28T17:59:05Z) - SV-LLM: An Agentic Approach for SoC Security Verification using Large Language Models [8.912091484067508]
SV-LLMは,システムオンチップ(SoC)セキュリティ検証の自動化と強化を目的とした,新しいマルチエージェントアシスタントシステムである。
検証質問応答、セキュリティ資産の識別、脅威モデリング、テスト計画とプロパティ生成、脆弱性検出、シミュレーションベースのバグ検証といったタスクのための特別なエージェントを統合することで、SV-LLMはワークフローを合理化する。
このシステムは,手作業による介入を減らすこと,精度の向上,セキュリティ分析の高速化,設計サイクルの初期段階におけるリスクの積極的な識別と緩和を支援することを目的としている。
論文 参考訳（メタデータ） (2025-06-25T13:31:13Z) - SAFEFLOW: A Principled Protocol for Trustworthy and Transactional Autonomous Agent Systems [10.393477652794747]
大規模言語モデル(LLM)や視覚言語モデル(VLM)の最近の進歩は、複雑な推論とマルチモーダルツールの使用が可能な強力な自律エージェントを可能にしている。
能力の増大にもかかわらず、今日のエージェントフレームワークは脆弱であり、セキュアな情報フロー、信頼性、マルチエージェント調整のための原則的なメカニズムが欠如している。
SAFEFLOWは信頼性の高いLDM/VLMベースのエージェントを構築するための新しいプロトコルレベルフレームワークである。
論文 参考訳（メタデータ） (2025-06-09T09:04:37Z) - Safety Devolution in AI Agents [56.482973617087254]
本研究では,検索アクセスの拡大がモデル信頼性,バイアス伝搬,有害コンテンツ生成に与える影響について検討した。
整列 LLM 上に構築された検索補助エージェントは、検索なしでの無検閲モデルよりも安全でない振る舞いをすることが多い。
これらの発見は、検索が強化され、ますます自律的なAIシステムにおいて、公正性と信頼性を確保するための堅牢な緩和戦略の必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-05-20T11:21:40Z) - LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners [51.518410910148816]
しかし、現在の大規模言語モデル(LLM)ベースのエージェントは、状態のままであり、時間とともに知識を蓄積または転送することができない。
LLMエージェントの生涯学習能力を体系的に評価するために設計された最初の統合ベンチマークであるLifelongAgentBenchを紹介する。
論文 参考訳（メタデータ） (2025-05-17T10:09:11Z) - Review of Case-Based Reasoning for LLM Agents: Theoretical Foundations, Architectural Components, and Cognitive Integration [0.0]
ケースベース推論(CBR)は、過去の経験を参照することによって、新しい問題を解決する戦略である。
本稿では、過去の経験を参照して新しい問題を解決する戦略であるケースベース推論(CBR)を大規模言語モデルに組み込む方法について考察する。
論文 参考訳（メタデータ） (2025-04-09T14:51:02Z) - A Survey on Trustworthy LLM Agents: Threats and Countermeasures [67.23228612512848]
大規模言語モデル(LLM)とマルチエージェントシステム(MAS)はLLMエコシステムの機能を大幅に拡張した。
本稿では,エージェントの信頼性に関する総合的研究であるTrustAgentフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-12T08:42:05Z) - Reflection-Bench: Evaluating Epistemic Agency in Large Language Models [10.801745760525838]
疫学エージェンシーは動的環境に関する信念を柔軟に構築し、適応し、監視する能力である。
リフレクション・ベンチ(Reflection-Bench)は,データ漏洩の長期的関連性と最小化を伴う7つのタスクからなるベンチマークである。
本研究は, コア認知機能の向上, クロスファンクショナルコーディネートの改善, 適応処理機構の開発など, 有望な研究の方向性を示唆する。
論文 参考訳（メタデータ） (2024-10-21T17:59:50Z) - Cooperative Resilience in Artificial Intelligence Multiagent Systems [2.0608564715600273]
本稿では, 協調レジリエンスの明確な定義とその定量化手法を提案する。
その結果は、集団システムが破壊に直面してどのように準備し、抵抗し、回復し、幸福を維持し、変革するかを分析する上で、レジリエンス指標の重要な役割を強調している。
論文 参考訳（メタデータ） (2024-09-20T03:28:48Z) - MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset [50.36095192314595]
大きな言語モデル(LLM)は、一般化可能な推論能力を持つ意識的なエージェントとして機能する。
この能力は、イベントにおける無限の可能な変更をモデル化する複雑さのために、まだ探索されていない。
我々は,各ステップに対応する3つのタスクからなる最初のベンチマークMARSを紹介する。
論文 参考訳（メタデータ） (2024-06-04T08:35:04Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。
これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
論文 参考訳（メタデータ） (2024-01-24T01:51:00Z) - How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。
SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
論文 参考訳（メタデータ） (2023-12-28T16:51:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。