論文の概要: MAADBench: The Refreshable Paradigm for Anomaly Detection in Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2609.36556v1
• Date: Tue, 29 Sep 2026 02:42:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.130087
• Title: MAADBench: The Refreshable Paradigm for Anomaly Detection in Multi-Agent Systems
• Title（参考訳）: MAADBench:マルチエージェントシステムにおける異常検出のためのリフレッシュ可能なパラダイム
• Abstract要約: 我々は,MAADBench (MA: multi-agent; AD: anomaly detection) を初回更新可能なMAS ADベンチマークとして提示する。 5つの最先端のLCMバックボーンでMAADBenchを実行し、5,200のステップラベル付きトレースを持つMAADBench-Fullデータセットをリリースします。 これらのギャップは、MAADBenchが系統的でリフレッシュ可能なテストベッドを提供するMAAD固有の異常検出のための豊富な研究課題を示している。
• 参考スコア（独自算出の注目度）: 7.343571058447034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies report that LLM-based multi-agent systems (MAS) fail at rates of 41%-87%, yet to our knowledge, no benchmark to date supports systematic anomaly detection (AD) for them. Building MAS AD benchmarks is hard because they must remain fresh as LLM systems evolve: tasks may leak into training data and thus be memorized by LLMs, traces and anomaly patterns expire as backbones evolve, and labels must be provided reliably for each refresh. To address these challenges, we present MAADBench (MA: multi-agent; AD: anomaly detection), the first refreshable MAS AD benchmark designed for diverse, evolving LLM backbones underlying the agents. MAADBench combines (1) sampled-and-coupled generative tasks over an approximately 10^37-task space to mitigate task leakage, (2) refreshable trace generation under configurable LLM backbones, and (3) automated provision of cost-free, deterministic step-level labels for fine-grained AD evaluation. Beyond offering the paradigm itself, we run MAADBench with five state-of-the-art LLM backbones and release the MAADBench-Full dataset with 5,200 step-labeled traces. Benchmarking 25 AD methods on the MAADBench dataset reveals substantial limitations in current approaches: they rely heavily on supervision, struggle with subtle MAS-specific anomalies, and lack robustness across LLM backbones. These gaps point to a rich research agenda for MAS-specific anomaly detection, with MAADBench providing a systematic and refreshable testbed for method development and evaluation. We open-source MAADBench-Full at https://huggingface.co/datasets/hww123/MAADBench-full.
• Abstract（参考訳）: 最近の研究報告では、LPMベースのマルチエージェントシステム(MAS)は41%-87%の速度で故障するが、我々の知る限り、これまでのベンチマークでは、それらに対する系統的異常検出(AD)をサポートしていない。 タスクはトレーニングデータにリークし、LLMによって記憶される可能性があるため、バックボーンが進化するにつれてトレースと異常パターンが終了し、リフレッシュ毎にラベルが確実に提供されなければならない。 これらの課題に対処するため,MAADBench (MA: multi-agent; AD: anomaly detection) を提案する。 MAADBenchは,(1)タスクリークを軽減するために約10^37タスク空間上のサンプルと結合した生成タスク,(2)構成可能なLCMバックボーン下でのリフレッシュ可能なトレース生成,(3)コストフリーで決定論的なステップレベルラベルの自動提供とを組み合わせ,AD評価を行う。 パラダイムそのものを提供する以外に、5つの最先端のLLMバックボーンでMAADBenchを実行し、5,200のステップラベル付きトレースでMAADBench-Fullデータセットをリリースしています。 MAADBenchデータセットに25のADメソッドをベンチマークすると、現在のアプローチのかなりの制限が明らかになっている。 これらのギャップは、MAADBenchがメソッドの開発と評価のための体系的でリフレッシュ可能なテストベッドを提供するMAAD Benchによって、MAS固有の異常検出のための豊富な研究課題を示している。 私たちはMAADBench-Fullをhttps://huggingface.co/datasets/hww123/MAADBench-Fullでオープンソース化しました。

関連論文リスト

• MMR-AD: A Large-Scale Multimodal Dataset for Benchmarking General Anomaly Detection with Multimodal Large Language Models [16.60737807862461]
  MLLMベースのADモデルのトレーニングと評価のベンチマークであるMMR-ADを提案する。 また,CoTデータから学習する推論に基づくADモデルであるAnomaly-R1を提案する。 我々のAnomaly-R1は、異常検出と局所化の両方において、ジェネラリストMLLMよりも顕著に改善されていることを示す。
  論文  参考訳（メタデータ） (2026-04-13T04:14:56Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
  MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。 我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。 MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
  論文  参考訳（メタデータ） (2025-03-17T19:04:38Z)
• AD-LLM: Benchmarking Large Language Models for Anomaly Detection [42.48028199802796]
  本稿では,大規模な言語モデルが異常検出にどのように役立つかを評価する最初のベンチマークであるAD-LLMを紹介する。 我々は、ゼロショット検出、LLMの事前訓練された知識を用いて、タスク固有のトレーニングなしでADを実行すること、データ拡張、ADモデルを改善するために合成データとカテゴリ記述を生成すること、LLMを使用して教師なしADモデルを提案するモデル選択の3つの主要なタスクについて検討する。
  論文  参考訳（メタデータ） (2024-12-15T10:22:14Z)
• DCA-Bench: A Benchmark for Dataset Curation Agents [9.60250892491588]
  不完全なドキュメンテーション、不正確なラベル、倫理的懸念、時代遅れの情報といったデータ品質問題は、広く使われているデータセットで共通している。 大きな言語モデル(LLM)の急増する能力により、LLMエージェントによる隠れデータセット問題の発見の合理化が約束されている。 本研究では,この課題に対処するLLMエージェントの能力を評価するためのベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-06-11T14:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。