論文の概要: Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows

• arxiv url: http://arxiv.org/abs/2605.24219v2
• Date: Tue, 26 May 2026 16:24:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:40.995172
• Title: Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows
• Title（参考訳）: 最終回答を超えて:マルチエージェント産業ワークフローにおける軌道レベル幻覚の検証
• Authors: Harshada Badave, Santosh Borse, Andrea Gomez, Harshitha Narahari, Sara Carter, Vishwa Bhatt, Aishani Rachakonda, Shuxin Lin, Dhaval Patel,
• Abstract要約: Trajelは、マルチエージェントエージェントにおける軌道レベルの幻覚を監査するためのデータセットおよび評価フレームワークである。 我々は,サブタスク,トラジェクトリ,長文レベルの教師付き検出モデルをベンチマークした。 軌道認識検出は、標準的なポストホック検証よりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 1.6048497142263283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed as autonomous agents that reason, use tools, and act over multiple steps. Yet most hallucination benchmarks still evaluate only the final output, missing failures that originate in intermediate Thought-Action-Observation steps. We present Trajel, a dataset and evaluation framework for auditing trajectory-level hallucinations in multi-agent industrial workflows. Trajel introduces a five-type hallucination taxonomy (factual, referential, logical, procedural, and scope-based) over expert-annotated agent traces from AssetOpsBench. We benchmark supervised detection models at the subtask, trajectory, and long-context levels. Our results show that the most common failure modes are missed by existing benchmarks, that nearly half of hallucinated trajectories involve multiple types at once, and that automated detectors with high binary accuracy still misclassify the subtlest types. Trajectory-aware detection significantly outperforms standard post-hoc verification, making taxonomy-grounded evaluation necessary for safer agentic deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論、ツールの使用、複数のステップでの動作を行う自律的なエージェントとして、ますます多くデプロイされている。 しかし、ほとんどの幻覚ベンチマークは最終的な結果のみを評価しており、中間的な思考・行動観察の段階から生じる失敗が欠落している。 マルチエージェント産業ワークフローにおける軌道レベルの幻覚を監査するためのデータセットおよび評価フレームワークであるTrajelを提案する。 Trajel は AssetOpsBench から得られた 5 種類の幻覚分類(実例、参照、論理、手続き、スコープベース)を導入している。 我々は,サブタスク,トラジェクトリ,長文レベルの教師付き検出モデルをベンチマークした。 以上の結果から,既存のベンチマークでは最も一般的な障害モードが欠落しており,幻覚軌道のほぼ半数が一度に複数の型を伴い,二分精度の高い自動検知器が依然として最も微妙な型を誤分類していることがわかった。 トラジェクティブ・アウェア検出は、標準的なポストホック検証よりも大幅に優れており、より安全なエージェント配置に必要な分類に基づく評価が必要とされる。

関連論文リスト

• How to Interpret Agent Behavior [56.59836196946289]
  本稿では,エージェントの動作を実行時に記述・解析するための分類法であるACT*ONOMYを紹介する。 共用語彙を提供することで、ACT*ONOMYは研究者、エージェントデザイナー、エンドユーザーがエージェントの振る舞いをより一貫して解釈するのに役立つ。
  論文  参考訳（メタデータ） (2026-05-13T14:52:40Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• MAS-ProVe: Understanding the Process Verification of Multi-Agent Systems [59.20800753428596]
  マルチエージェントシステム(MAS)におけるプロセス検証の系統的研究であるMAS-ProVeを提案する。 本研究は3つの検証パラダイム(LLM-as-a-Judge、報酬モデル、プロセス報酬モデル)にまたがる。 プロセスレベルの検証は、常に性能を改善しておらず、しばしば高いばらつきを示す。
  論文  参考訳（メタデータ） (2026-02-03T03:30:36Z)
• The Bitter Lesson of Diffusion Language Models for Agentic Workflows: A Comprehensive Reality Check [54.08619694620588]
  本稿では,2つの異なるエージェントパラダイムであるEmbodied AgentsとTool-Calling AgentsにまたがるdLLMの包括的評価を行う。 Agentboard と BFCL では,現在の dLLM が信頼できるエージェントバックボーンとして機能しないという,"ビットレッスン" が報告されている。
  論文  参考訳（メタデータ） (2026-01-19T11:45:39Z)
• AgentIAD: Tool-Augmented Single-Agent for Industrial Anomaly Detection [9.208080780536504]
  AgentIADは、多段階の視覚検査を可能にするツール駆動のフレームワークである。 AgentIADは、MMADの新しい最先端の97.62%の分類精度を達成する。
  論文  参考訳（メタデータ） (2025-12-15T18:57:04Z)
• TRAIL: Trace Reasoning and Agentic Issue Localization [5.025960714013197]
  この研究は、エージェントワークフロートレースに対する堅牢でダイナミックな評価方法の必要性を明確に示している。 我々は,この分類法を用いて構築され,確立されたエージェント・ベンチマークに基づいて構築された148個の大型人名跡(TRAIL)について述べる。 生態学的妥当性を確保するため,単一エージェントシステムとマルチエージェントシステムの両方のトレースをキュレートする。
  論文  参考訳（メタデータ） (2025-05-13T14:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。