論文の概要: Signals: Continuous Diagnostics of AI Agents

• arxiv url: http://arxiv.org/abs/2611.04507v2
• Date: Wed, 04 Nov 2026 06:09:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.761777
• Title: Signals: Continuous Diagnostics of AI Agents
• Title（参考訳）: 信号:AIエージェントの連続診断
• Abstract要約: 我々は,これらの問題をエージェントトレースから同定し,具体的修復を提案するためにSignalsを開発した。 我々は8つの家系にまたがる45の問題を分類し,それぞれに定義とエビデンス要件を課した手法を構築した。 この手法は、実現した失敗、リスク露光、非効率を区別し、シグナルと呼ばれる工学的な問題に関連付けられたグループを分類し、その重症度を裏付ける証拠から評価する。
• 参考スコア（独自算出の注目度）: 2.2936251006503006
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: AI agents can make incorrect decisions or waste resources even when their tools and infrastructure work normally. Their nondeterministic behavior makes these problems difficult to reproduce and diagnose. We developed Signals to identify such problems from agentic traces and suggest concrete remediations. We built the method around a taxonomy of 45 problem types across eight families, with definitions and evidence requirements for each type. The method distinguishes realized failures, risk exposures, and inefficiencies, groups related findings into engineering issues called Signals, and assesses their severity from the supporting evidence. Each Signal includes actions a developer can take and checks for evaluating the change. Further executions can add evidence to an existing Signal or reveal a new problem. We evaluated the method on public agent executions and achieved 91.43% F1 when matching Signals to reference issues, about 18 percentage points higher than a one-pass LLM control that used the same model and taxonomy.
• Abstract（参考訳）: AIエージェントは、ツールやインフラストラクチャが正常に動作している場合でも、誤った判断やリソースを無駄にすることができる。 それらの非決定論的行動は、これらの問題を再現し、診断することを困難にしている。 我々は,これらの問題をエージェントトレースから同定し,具体的修復を提案するためにSignalsを開発した。 我々は8つの家系にまたがる45の問題を分類し,それぞれに定義とエビデンス要件を課した手法を構築した。 この手法は、実現した失敗、リスク露光、非効率を区別し、シグナルと呼ばれる工学的な問題に関連付けられたグループを分類し、その重症度を裏付ける証拠から評価する。 それぞれのSignalには、開発者が変更を評価するためのアクションとチェックが含まれている。 さらなる実行では、既存のSignalにエビデンスを追加したり、新たな問題を明らかにすることができる。 提案手法を公開エージェント実行で評価し,参照問題にシグナルを合わせると91.43%のF1を達成し,同一モデルと分類を用いた1パスLPM制御よりも約18パーセント高い値を示した。

関連論文リスト

• Agentic4PDM: Host-Governed Evidence Admissibility for Industrial Fault Diagnosis [8.504665114338419]
  Agentic4PDMは、アダプティブ調査とエビデンス使用の制御を分離するフレームワークである。 Agentic4PDMは、事前訓練された表現とラベル付き参照を使用して、トレーニング不要の診断をサポートする。
  論文  参考訳（メタデータ） (2026-10-13T06:14:27Z)
• From Anomalies to Failures: Constructing Causal Error Graphs for Agentic Trace Diagnosis [27.28685987339971]
  LLMを駆動するエージェントは、長いエージェントトレースによって診断が困難になる複雑なアプリケーションにますますデプロイされる。 エージェントトレースの因果診断のためのツール強化エージェントフレームワークであるCEG-Agentを提案する。 CEG-Agentは, 意味的緩和と構造的正確な評価基準の下で, 最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-09-26T12:01:04Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• Characterizing Faults in Agentic AI: A Taxonomy of Types, Symptoms, and Root Causes [6.568786173861302]
  エージェントAIシステムは、大きな言語モデル(LLM)推論と外部呼び出しツール、長期タスク実行を組み合わせる。 現実世界のエージェントAIシステムにおいて、障害がどのように発生し、現れ、伝播するかに関する経験的理解は限られている。
  論文  参考訳（メタデータ） (2026-03-06T20:12:29Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing [12.835224376066769]
  大きな言語モデル(LLM)は目覚ましい機能を示しているが、そのデプロイメントは望ましくない振る舞いによってしばしば損なわれている。 本稿では,表現とその勾配を解析することによって,望ましくないLCMの挙動を診断する,新しい,効率的なフレームワークを提案する。 本手法は,有害な内容の追跡,バックドア中毒の検出,知識汚染の同定などのタスクに対して,系統的に評価する。
  論文  参考訳（メタデータ） (2025-09-26T12:07:47Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• Defining and Detecting the Defects of the Large Language Model-based Autonomous Agents [31.126001253902416]
  本研究は,LLMエージェントの欠陥の同定と検出に焦点を当てた最初の研究である。 StackOverflowから6,854件の関連記事を収集し分析し、8種類のエージェント欠陥を定義しました。 以上の結果から,Agentableの総合精度は88.79%,リコール率は91.03%であった。
  論文  参考訳（メタデータ） (2024-12-24T11:54:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。