論文の概要: Agentic Cognitive Depth: Operational Criteria for Evaluating LLM Agents

• arxiv url: http://arxiv.org/abs/2610.04168v1
• Date: Sat, 03 Oct 2026 00:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 19:41:16.28938
• Title: Agentic Cognitive Depth: Operational Criteria for Evaluating LLM Agents
• Title（参考訳）: エージェント認知深度 : LLMエージェント評価のための手術基準
• Abstract要約: 我々は,エージェント認知深度を5つの操作基準の軌跡レベルプロファイルとして定義する。 プロファイルには、文脈感受性、時間的連続性、マルチモーダル調整、適応的相互作用、メタ認知的モニタリングが含まれる。 本稿では,GAIA,SWE-bench,WebArena,TRIP-Benchなどのベンチマークを基準値毎に拡張するために必要な構造について述べる。
• 参考スコア（独自算出の注目度）: 3.008981940003398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic large language model (LLM) systems are commonly implemented as an LLM in a loop with Planning, Memory, Tools, and Control Flow. This application-focused view connects agentic LLM research with deployable systems and leaves open how such systems should be evaluated beyond end-to-end task success. Building on this view, we define agentic cognitive depth as a trajectory-level profile across five operational criteria. The profile contains context sensitivity ($C$), temporal continuity ($T$), multimodal coordination ($M$), adaptive interaction ($A$), and metacognitive monitoring ($Mc$). The first four criteria measure how well Control Flow, Memory, Tools, and Planning are used across a trajectory. The fifth measures whether the system monitors and regulates the full run. For each criterion, we give operational proxies and a perturbation procedure, then connect the profile to the agent's world model. We provide the structure needed to extend benchmarks such as GAIA, SWE-bench, WebArena, and TRIP-Bench with per-criterion diagnostics. Symbolic verifiers, structured memory, planner coupling, and tool constraints provide practical ways to build and test these capacities.
• Abstract（参考訳）: エージェント型大規模言語モデル(LLM)システムは、計画、記憶、ツール、制御フローを伴うループ内のLLMとして一般的に実装されている。 このアプリケーション中心の見解は、エージェントによるLLM研究とデプロイ可能なシステムとを結びつけ、そのようなシステムがエンドツーエンドのタスク成功を超えてどのように評価されるべきかを公開している。 この観点から,エージェント認知深度を5つの操作基準の軌跡レベルプロファイルとして定義する。 プロファイルには、コンテキスト感受性(C$)、時間連続性(T$)、マルチモーダル調整(M$)、適応的相互作用(A$)、メタ認知モニタリング(Mc$)が含まれる。 最初の4つの基準は、制御フロー、メモリ、ツール、プランニングが軌道を越えてどれだけうまく使われているかを測定する。 第5は、システムがフルランを監視し、規制するかどうかを測定する。 各基準に対して、動作プロキシと摂動手順を与え、そのプロファイルをエージェントの世界モデルに接続する。 本稿では,GAIA,SWE-bench,WebArena,TRIP-Benchなどのベンチマークを基準値毎に拡張するために必要な構造について述べる。 シンボリック検証、構造化メモリ、プランナー結合、ツール制約は、これらの能力の構築とテストの実践的な方法を提供する。

関連論文リスト

• Formal Verification of Agentic Systems over Operational Data [59.98246281888422]
  大規模言語モデル(LLM)によって駆動されるエージェントシステムは、永続的な運用データを扱う現実世界にますます展開されている。 既存のアプローチはそのようなシステムレベルの保証を提供していません。 本稿では, 1 つの LLM とツールオーケストレーションハーネスからなるエージェントシステムのリレーショナル操作データに対する検証について述べる。
  論文  参考訳（メタデータ） (2026-08-04T13:01:30Z)
• From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
  本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。 まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。 次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
  論文  参考訳（メタデータ） (2026-06-14T05:40:16Z)
• When LLMs Team Up: A Coordinated Attack Framework for Automated Cyber Intrusions [27.62993988829038]
  本稿では,侵入型タスク分析のための協調型マルチエージェントフレームワークであるCAESARを提案する。 CAESARはワークフローを5つの型付きロールに分解し、境界付きプロトコルを介してそれらを調整する。 予算とツールアクセスが一致した単一エージェントベースラインと比較して、CAESARはタスクの成功を改善し、パフォーマンスのばらつきを低減する。
  論文  参考訳（メタデータ） (2026-05-09T07:47:42Z)
• RPA-Check: A Multi-Stage Automated Framework for Evaluating Dynamic LLM-based Role-Playing Agents [4.07447364754644]
  本稿では,LLM ベースの RPA の性能を客観的に評価する多段階自動評価フレームワーク RPA-Check を紹介する。 我々は,この枠組みを,いくつかの定量化ローカルモデルを含む法医学的な訓練のための真剣なゲームであるLLM Courtに適用することで検証する。
  論文  参考訳（メタデータ） (2026-04-13T16:08:03Z)
• Diagnose, Localize, Align: A Full-Stack Framework for Reliable LLM Multi-Agent Systems under Instruction Conflicts [75.20929587906228]
  LLM(Large Language Model)を利用したマルチエージェントシステム(MAS)は、複雑なタスクにおける協調推論、ツールの使用、役割特化調整を急速に進めている。 しかし、信頼性クリティカルなデプロイメントは、体系的な障害モード、すなわち命令の競合による階層的コンプライアンスによって妨げられている。
  論文  参考訳（メタデータ） (2025-09-27T08:43:34Z)
• CodeAgents: A Token-Efficient Framework for Codified Multi-Agent Reasoning in LLMs [16.234259194402163]
  マルチエージェント推論を符号化し、マルチエージェントシステムにおける構造化されたトークン効率の計画を可能にするプロンプトフレームワークであるCodeAgentsを紹介する。 その結果, 計画性能は一貫した改善がみられ, 基本となる自然言語よりも3～36ポイントの絶対的な向上が見られた。
  論文  参考訳（メタデータ） (2025-07-04T02:20:19Z)
• ThinkGeo: Evaluating Tool-Augmented Agents for Remote Sensing Tasks [64.86209459039313]
  ThinkGeoは、構造化ツールの使用とマルチステップ計画を通じて、リモートセンシングタスクにおけるツール拡張エージェントを評価するために設計されたエージェントベンチマークである。 我々はReActスタイルの対話ループを実装し,486 個の構造化エージェントタスク上でのオープンソース LLM とクローズドソース LLM の両方を1,773 個の専門家が検証した推論ステップで評価する。 分析の結果、ツールの精度とモデル間の計画整合性に顕著な相違が明らかになった。
  論文  参考訳（メタデータ） (2025-05-29T17:59:38Z)
• AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
  LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。 AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T17:31:10Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。