論文の概要: Traceability and Accountability in Role-Specialized Multi-Agent LLM Pipelines

• arxiv url: http://arxiv.org/abs/2510.07614v1
• Date: Wed, 08 Oct 2025 23:26:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.770463
• Title: Traceability and Accountability in Role-Specialized Multi-Agent LLM Pipelines
• Title（参考訳）: 役割特化多エージェントLLMパイプラインのトレーサビリティと説明責任
• Authors: Amine Barrak,
• Abstract要約: 我々は、トレーサブルで説明可能なパイプライン、つまり明確な役割、構造化されたハンドオフ、保存されたレコードを持つシステムについて研究する。 3つのベンチマークで3つの最先端LCMの8つの構成を評価し、エラーの発生点、展開方法、修正方法について分析する。
• 参考スコア（独自算出の注目度）: 9.340611077939828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential multi-agent systems built with large language models (LLMs) can automate complex software tasks, but they are hard to trust because errors quietly pass from one stage to the next. We study a traceable and accountable pipeline, meaning a system with clear roles, structured handoffs, and saved records that let us trace who did what at each step and assign blame when things go wrong. Our setting is a Planner -> Executor -> Critic pipeline. We evaluate eight configurations of three state-of-the-art LLMs on three benchmarks and analyze where errors start, how they spread, and how they can be fixed. Our results show: (1) adding a structured, accountable handoff between agents markedly improves accuracy and prevents the failures common in simple pipelines; (2) models have clear role-specific strengths and risks (e.g., steady planning vs. high-variance critiquing), which we quantify with repair and harm rates; and (3) accuracy-cost-latency trade-offs are task-dependent, with heterogeneous pipelines often the most efficient. Overall, we provide a practical, data-driven method for designing, tracing, and debugging reliable, predictable, and accountable multi-agent systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)で構築された連続的マルチエージェントシステムは、複雑なソフトウェアタスクを自動化できるが、エラーが静かにあるステージから次のステージに移動するため、信頼できない。 私たちは、トレーサブルで説明可能なパイプライン、つまり明確な役割を持つシステム、構造化されたハンドオフ、保存されたレコードを研究し、各ステップで誰が何をしたかをトレースし、問題が発生した時に責任を割り当てます。 私たちの設定はPlanner -> Executor -> Critic Pipelineです。 3つのベンチマークで3つの最先端LCMの8つの構成を評価し、エラーの発生点、展開方法、修正方法について分析する。 その結果,(1) エージェント間の構造的,説明可能なハンドオフを追加することで,精度が著しく向上し,単純なパイプラインに共通する障害を防止すること,(2) モデルが役割特異的な長所とリスク(例えば,安定した計画と高分散基準)を持つこと,(3) 精度-コスト-遅延トレードオフがタスク依存であり,不均一パイプラインが最も効率的であること,などが判明した。 全体として、信頼性、予測可能、および説明可能なマルチエージェントシステムを設計、トレース、デバッグするための実用的なデータ駆動方式を提供する。

関連論文リスト

• Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
  マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。 現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。 A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
  論文  参考訳（メタデータ） (2025-09-12T16:51:15Z)
• Automatic Failure Attribution and Critical Step Prediction Method for Multi-Agent Systems Based on Causal Inference [8.823529310904162]
  マルチエージェントシステム(MAS)は複雑なタスクの自動化に不可欠であるが、その実践的展開は障害帰属の課題によって妨げられている。 マルチグラニュラリティ因果推論に基づくMASのための最初の失敗帰属フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-10T15:22:00Z)
• Stress-Testing ML Pipelines with Adversarial Data Corruption [11.91482648083998]
  規制当局は現在、ハイテイクシステムは現実的で相互依存的なエラーに耐えられるという証拠を要求している。 SAVAGEは依存性グラフとフレキシブルな汚いテンプレートを通じて、データ品質の問題を正式にモデル化するフレームワークです。 Savanageは、脆弱性のあるデータサブポピュレーションと微調整による汚職の深刻度を効率的に識別するために、双方向の最適化アプローチを採用している。
  論文  参考訳（メタデータ） (2025-06-02T00:41:24Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• Integrating Expert Knowledge into Logical Programs via LLMs [3.637365301757111]
  ExKLoPは、大規模言語モデルが専門家の知識を論理的推論システムに統合する方法を評価するために設計されたフレームワークである。 この能力は特にエンジニアリングにおいて有用であり、製造業者が推奨する運用範囲などの専門家の知識を、自動化された監視システムに直接組み込むことができる。
  論文  参考訳（メタデータ） (2025-02-17T19:18:23Z)
• Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。 本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。 我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-11-27T18:04:05Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。