論文の概要: Observability and Fault Injection for LLM-Based Multi-Agent Systems in Software Engineering

• arxiv url: http://arxiv.org/abs/2608.24271v1
• Date: Tue, 25 Aug 2026 08:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.90615
• Title: Observability and Fault Injection for LLM-Based Multi-Agent Systems in Software Engineering
• Title（参考訳）: ソフトウェア工学におけるLCMに基づくマルチエージェントシステムの観測可能性と故障注入
• Abstract要約: 大規模言語モデルに基づくマルチエージェントシステムは、ソフトウェア工学のタスクのためにますます研究されている。 OpenTelemetryベースの分散トレースとフォールトインジェクションを組み合わせた軽量でフレームワークに依存しないツールであるllmmas-otelを提案する。
• 参考スコア（独自算出の注目度）: 16.65912184999416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model-based multi-agent systems are increasingly explored for software engineering tasks, but they remain difficult to inspect, debug, and evaluate under controlled failures. We present llmmas-otel, a lightweight and framework-agnostic tool that combines OpenTelemetry-based distributed tracing with fault injection for LLM-based multi-agent systems in software engineering workflows. The tool instruments agent executions with trace-aligned telemetry across workflow phases, agent steps, inter-agent communication, tool calls, and LLM invocations, and supports targeted fault injection at selected interaction points. This makes it possible to compare baseline and faulty executions in a reproducible way and inspect the effects through aligned traces and run artifacts. We describe the motivation, architecture, implementation, current capabilities, and initial validation of the tool on a minimal demo workflow and a real LLM-based multi-agent system for software development.
• Abstract（参考訳）: 大規模言語モデルに基づくマルチエージェントシステムは、ソフトウェアエンジニアリングタスクのためにますます研究されているが、制御された障害の下で検査、デバッグ、評価が難しいままである。 ソフトウェアエンジニアリングワークフローにおいて,OpenTelemetryベースの分散トレースとLLMベースのマルチエージェントシステムに対するフォールトインジェクションを組み合わせた軽量かつフレームワークに依存しないツールであるllmmas-otelを提案する。 このツールは、ワークフローフェーズ、エージェントステップ、エージェント間通信、ツールコール、LSM呼び出しをまたいだトレース整列テレメトリによる実行をエージェントし、選択されたインタラクションポイントでのターゲット障害注入をサポートする。 これにより、再現可能な方法でベースラインと障害実行を比較し、アライメントされたトレースを通じて影響を検査し、アーティファクトを実行することが可能になる。 ソフトウェア開発のための最小限のデモワークフローと実際のLLMベースのマルチエージェントシステムにおいて、ツールのモチベーション、アーキテクチャ、実装、現在の機能、初期検証について説明する。

関連論文リスト

• Characterizing Large Language Model Agentic Workflows: A Study on N8n Ecosystem [9.994953049271892]
  大規模言語モデル(LLM)は、ローコードおよびノーコード自動化プラットフォームで急速に採用されている。 ローコード自動化プラットフォームにおけるLLMエージェントの大規模実証研究について紹介する。
  論文  参考訳（メタデータ） (2026-06-27T23:57:01Z)
• FAMA: Failure-Aware Meta-Agentic Framework for Open-Source LLMs in Interactive Tool Use Environments [60.3427704389541]
  大規模言語モデルは、自律エージェントの意思決定コアとして、ますます多くデプロイされている。 しかし、会話のベンチマークでは、誤った意思決定のカスケード効果のために、これらのエージェントは頻繁に失敗する。 これらの課題に対処するために、Failure-Aware Meta-Agenticフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-28T02:21:53Z)
• The Evolution of Tool Use in LLM Agents: From Single-Tool Call to Multi-Tool Orchestration [58.61149924275458]
  ツールの使用により、大きな言語モデルが外部情報にアクセスし、ソフトウェアシステムを実行し、モデルパラメータだけで解決できるもの以外のデジタル環境で動作することができる。 エージェントシステムが進化するにつれて、中央の問題は、中途半端な状態、実行フィードバック、環境の変化、安全性、コスト、検証可能性といった実践的な制約によって、孤立呼び出しからマルチツールオーケストレーションへと移行した。 推論時の計画と実行、トレーニングと軌道構築、安全と制御、リソース制約下での効率性、オープン環境における能力の完全性、およびベンチマーク設計と評価の6つの分野に関する文献を整理する。
  論文  参考訳（メタデータ） (2026-03-24T07:05:05Z)
• InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
  大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。 対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:26:29Z)
• Performant LLM Agentic Framework for Conversational AI [1.6114012813668932]
  複雑なグラフをトラバースする際に,適切なノードを選択し,順に処理を実行する際に,LLM(Large Language Models)を支援する新しいシステムであるPerformant Agentic Framework(PAF)を紹介する。 PAFはLLMベースの推論と数学的に基底化されたベクトルスコアリング機構を組み合わせることで、高い精度とレイテンシの低減を実現している。 PAFは、複雑なビジネス環境において、スケーラブルでリアルタイムな会話型AIシステムを実現する方法として、ベースラインメソッドを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2025-03-09T02:58:34Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• The Potential of LLMs in Automating Software Testing: From Generation to Reporting [0.0]
  手動テストは効果的だが、時間とコストがかかり、自動化メソッドの需要が増大する。 大規模言語モデル(LLM)の最近の進歩は、ソフトウェア工学に大きな影響を与えている。 本稿では,人間の介入を減らし,テスト効率を向上させるため,LSMを用いた自動ソフトウェアテストに対するエージェント指向アプローチについて検討する。
  論文  参考訳（メタデータ） (2024-12-31T02:06:46Z)
• ToolScan: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
  TOOLSCANは、ツール使用タスクのLLM出力におけるエラーパターンを特定するための新しいベンチマークである。 もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。 研究者たちは、TOOLSCANのこれらの洞察を使って、エラー軽減戦略をガイドすることができる。
  論文  参考訳（メタデータ） (2024-11-20T18:56:22Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
  ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。 ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。 3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-05T15:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。