論文の概要: Understanding Agent-Reactive Bugs at the Model-Harness Boundary: An Empirical Study of LLM Agent Issue Reports

• arxiv url: http://arxiv.org/abs/2607.15684v1
• Date: Fri, 17 Jul 2026 06:53:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.775659
• Title: Understanding Agent-Reactive Bugs at the Model-Harness Boundary: An Empirical Study of LLM Agent Issue Reports
• Title（参考訳）: モデル・ハーネス境界におけるエージェント・リアクティブ・バグの理解 : LLMエージェント問題レポートの実証的研究
• Abstract要約: この研究は、エージェント反応性(AR)バグに焦点を当てた最初の実証的研究である。 以上の結果から,多くのARバグが精査された検針なしでサイレントエラーとして現れることが明らかとなった。 これらの発見は、ユーザーと開発者がARバグの根本原因と解決を理解するのに役立つメカニズムの必要性を示している。
• 参考スコア（独自算出の注目度）: 9.560342483305371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents span command-line interfaces (e.g., Codex) and agent frameworks (e.g., LangChain), integrating backend LLMs with harness code that parses model outputs, controls agent loops, and manages context. Both the harness and LLM-generated responses jointly shape an agent's execution. This architecture gives rise to bugs that cannot be readily understood by inspecting either component alone, because some bugs occur only when a particular LLM response elicits an abnormal reaction from the agent. Prior empirical studies of agent bugs have largely attributed failures either to limited model capabilities or to harness-side defects, such as outdated APIs and configuration misalignment, without characterizing these AR bugs. We conduct the first empirical study focused on agent-reactive (AR) bugs. Through manual analysis of 255 bug reports from Codex, Gemini-CLI, LangChain, and CrewAI, we construct a two-axis taxonomy covering observable symptoms and the LLM behaviors that trigger them. Our findings show that many AR bugs manifest as silent errors without well-defined test oracles, which makes detection difficult. The stochasticity of LLM responses further complicates bug reproduction. We additionally examine fixes proposed by users and implemented by developers. This analysis exposes a mismatch: users frequently advocate harness-side guardrails, whereas developers may attribute the issue to the LLM or respond slowly to user-proposed fixes. These findings point to the need for mechanisms that help users and developers understand the root causes and resolutions of AR bugs. Overall, the study highlights challenges specific to LLM agents and motivates the design of test oracles, reproduction support, and fault-localization techniques for AR bugs.
• Abstract（参考訳）: LLMエージェントは、コマンドラインインターフェイス(例えば、Codex)とエージェントフレームワーク(例えば、LangChain)にまたがり、モデルの出力を解析し、エージェントループを制御し、コンテキストを管理するハーネスコードとバックエンドLCMを統合する。 ハーネスとLLM生成応答の両方が、エージェントの実行を共同で形成する。 このアーキテクチャでは、特定のLSM応答がエージェントからの異常反応を引き起こす場合にのみ発生するバグがあるため、どちらのコンポーネントも検査することで容易には理解できないバグが発生する。 エージェントバグに関する以前の実証的研究は、モデル機能に制限があるか、古いAPIや設定ミスアライメントなど、これらのARバグを特徴付けることなく、サイドの欠陥を利用するかのいずれかに起因する。 エージェント反応性(AR)バグに焦点を当てた最初の実証的研究を行った。 Codex,Gemini-CLI,LangChain,CrewAIの255件のバグレポートを手動で分析し,観察可能な症状とそれらを引き起こすLCMの挙動をカバーした2軸分類法を構築した。 以上の結果から,多くのARバグが精確なテストオラクルを伴わずに無声エラーとして現れることが明らかとなり,検出が困難になる。 LLM応答の確率性はさらにバグの再現を複雑にする。 また、ユーザによって提案され、開発者が実装した修正についても検討する。 ユーザはしばしばハーネス側のガードレールを推奨するが、開発者はこの問題をLSMに当てはめるか、ユーザー提案の修正にゆっくりと反応する。 これらの発見は、ユーザーと開発者がARバグの根本原因と解決を理解するのに役立つメカニズムの必要性を示している。 全体として、この研究はLLMエージェントに特有の課題を強調し、テストオラクル、再生サポート、ARバグのフォールトローカライゼーション技術の設計を動機付けている。

関連論文リスト

• How Do LLMs Read Bug Reports? An Empirical Study of Attention in LLMs for Automated Program Repair [7.1093539424910155]
  本稿では,Large Language Model (LLM) を用いたプログラム修復における注意パターンの実証的研究を行った。 実際のPythonとJavaの319のバグを分析し、バグレポートのセクション間でモデルの注意がどのように分散されているかを調査します。 修復は複数の診断部位に分散した注意が特徴である。
  論文  参考訳（メタデータ） (2026-07-28T15:38:12Z)
• FAMA: Failure-Aware Meta-Agentic Framework for Open-Source LLMs in Interactive Tool Use Environments [60.3427704389541]
  大規模言語モデルは、自律エージェントの意思決定コアとして、ますます多くデプロイされている。 しかし、会話のベンチマークでは、誤った意思決定のカスケード効果のために、これらのエージェントは頻繁に失敗する。 これらの課題に対処するために、Failure-Aware Meta-Agenticフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-28T02:21:53Z)
• SelfHeal: Empirical Fix Pattern Analysis and Bug Repair in LLM Agents [3.8743350688734988]
  Stack Overflow、GitHub、HuggingFaceフォーラムからバギーなポストとコードスニペットを研究します。 我々は、LLMエージェントのバグに対する最初のベンチマークデータセットであるAgentDefectを紹介する。 LLMエージェントのバグ修正を目的としたマルチエージェントシステムであるSelfHealを提案する。
  論文  参考訳（メタデータ） (2026-04-20T01:28:15Z)
• When Agents Fail: A Comprehensive Study of Bugs in LLM Agents with Automated Labeling [3.0882445204950013]
  LLMエージェントベースのソフトウェアにおいて、バグタイプ、根本原因、および影響に関する最初の包括的研究を行う。 Stack Overflow、GitHub、Hugging Faceフォーラムから1,187のバグ関連の投稿とコードスニペットを収集し、分析しました。 私たちはBugReActというReActエージェントを開発し、データセットのバグを検出し、注釈付けできるかどうかを判断するための適切な外部ツールを備えています。
  論文  参考訳（メタデータ） (2026-01-21T18:13:10Z)
• InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
  大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。 対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:26:29Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• Towards Automated Error Discovery: A Study in Conversational AI [48.735443116662026]
  本稿では,会話型AIにおけるエラーの検出と定義のためのフレームワークであるAutomated Error Discoveryを紹介する。 また,その実装に対するエンコーダに基づくアプローチとして,SEEED(Soft Clustering Extended-Based Error Detection)を提案する。
  論文  参考訳（メタデータ） (2025-09-13T14:53:22Z)
• Do AI models help produce verified bug fixes? [62.985237003585674]
  大規模言語モデルは、ソフトウェアバグの修正に使用される。 本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。 その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
  論文  参考訳（メタデータ） (2025-07-21T17:30:16Z)
• An Empirical Study on the Capability of LLMs in Decomposing Bug Reports [9.544728752295269]
  本研究では,大規模言語モデル(LLM)が,複雑なバグレポートを自動的に,より小さく自己完結したユニットに分解するのに役立つかどうかを検討する。 我々はApache Jiraから収集した127件のプライバシー関連バグレポートについて実証的研究を行った。
  論文  参考訳（メタデータ） (2025-04-29T16:29:12Z)
• PATCH: Empowering Large Language Model with Programmer-Intent Guidance and Collaborative-Behavior Simulation for Automatic Bug Fixing [34.768989900184636]
  バグ修正は、ソフトウェア開発とメンテナンスにおいて重要な意味を持つ。 最近の研究は、ソフトウェアバグを自動的に解決する大規模言語モデル(LLM)の可能性を探ることに大きく貢献している。
  論文  参考訳（メタデータ） (2025-01-27T15:43:04Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 実験の結果、ExploreaCoderは、事前のAPI知識に欠けるモデルのパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• ThinkNote: Enhancing Knowledge Integration and Utilization of Large Language Models via Constructivist Cognition Modeling [55.21641515545307]
  大規模言語モデル(LLM)は、幅広いNLPタスクにおいて強力なパフォーマンスを示している。 それらはしばしば、不慣れな外部情報に晒されたとき、最適でない行動と矛盾を示す。 本稿では,LLMの外部知識活用を促進する新しいフレームワークであるThinkNoteを提案する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。