論文の概要: Understanding Software Engineering Agents: A Study of Thought-Action-Result Trajectories
- arxiv url: http://arxiv.org/abs/2506.18824v1
- Date: Mon, 23 Jun 2025 16:34:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 19:06:37.088537
- Title: Understanding Software Engineering Agents: A Study of Thought-Action-Result Trajectories
- Title（参考訳）: ソフトウェアエンジニアリングエージェントを理解する:思考行動結果の軌跡に関する研究
- Authors: Islem Bouzenia, Michael Pradel,
- Abstract要約: 大規模言語モデル(LLM)ベースのエージェントは、複雑なソフトウェアエンジニアリングタスクを自動化するためにますます採用されている。
広く採用されているにもかかわらず、これらのエージェントの内部決定プロセスはほとんど解明されていない。
本研究は,3種類のLLM系エージェントの思考-反感-反感の軌跡について,大規模な実証的研究を行った。
- 参考スコア（独自算出の注目度）: 18.129031749321058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Model (LLM)-based agents are increasingly employed to automate complex software engineering tasks such as program repair and issue resolution. These agents operate by autonomously generating natural language thoughts, invoking external tools, and iteratively refining their solutions. Despite their widespread adoption, the internal decision-making processes of these agents remain largely unexplored, limiting our understanding of their operational dynamics and failure modes. In this paper, we present a large-scale empirical study of the thought-action-result trajectories of three state-of-the-art LLM-based agents: \textsc{RepairAgent}, \textsc{AutoCodeRover}, and \textsc{OpenHands}. We unify their interaction logs into a common format, capturing 120 trajectories and 2822 LLM interactions focused on program repair and issue resolution. Our study combines quantitative analyses of structural properties, action patterns, and token usage with qualitative assessments of reasoning coherence and feedback integration. We identify key trajectory characteristics such as iteration counts and token consumption, recurring action sequences, and the semantic coherence linking thoughts, actions, and their results. Our findings reveal behavioral motifs and anti-patterns that distinguish successful from failed executions, providing actionable insights for improving agent design, including prompting strategies, failure diagnosis, and anti-pattern detection. We release our dataset and annotation framework to support further research on transparent and robust autonomous software engineering agents.
- Abstract（参考訳）: LLM(Large Language Model)ベースのエージェントは、プログラムの修復や課題解決といった複雑なソフトウェアエンジニアリングタスクを自動化するために、ますます採用されている。
これらのエージェントは、自然言語の思考を自律的に生成し、外部ツールを呼び起こし、ソリューションを反復的に洗練することで機能する。
広く採用されているにもかかわらず、これらのエージェントの内部決定プロセスはほとんど解明されておらず、運用のダイナミクスや障害モードに対する理解が制限されています。
本稿では,LLMをベースとした3つのエージェント, \textsc{RepairAgent}, \textsc{AutoCodeRover}, \textsc{OpenHands}の思考・反感的軌道に関する大規模な実証的研究を行う。
プログラムの修復と課題解決に焦点をあてた120のトラジェクトリと2822のLLMインタラクションをキャプチャし、それらのインタラクションログを共通のフォーマットに統一する。
本研究は, 構造特性, アクションパターン, トークン使用量の定量的分析と, 推論コヒーレンスとフィードバック統合の質的評価を組み合わせたものである。
本研究は,反復数やトークン消費,反復行動列,思考,行動,結果のセマンティック・コヒーレンスといった重要な軌道特性を同定する。
本研究は, 実行失敗と区別される行動モチーフとアンチパターンを明らかにし, エージェント設計を改善するための実用的な洞察を与え, 戦略の促進, 障害診断, アンチパターン検出を行った。
私たちは、透明で堅牢な自律型ソフトウェアエンジニアリングエージェントに関するさらなる研究を支援するために、データセットとアノテーションフレームワークをリリースしています。
関連論文リスト
- Deep Research Agents: A Systematic Examination And Roadmap [79.04813794804377]
Deep Research (DR) エージェントは複雑な多ターン情報研究タスクに取り組むように設計されている。
本稿では,DRエージェントを構成する基礎技術とアーキテクチャコンポーネントの詳細な分析を行う。
論文 参考訳（メタデータ） (2025-06-22T16:52:48Z) - Understanding Software Engineering Agents Through the Lens of Traceability: An Empirical Study [15.97770416681533]
ソフトウェアエンジニアリングエージェント(SWEエージェント)は、ユーザの入力を解釈し、環境フィードバックに応答することで、自律的に動作する。
本稿では,SWEエージェントの動作を,実行トレースのレンズを通してシステマティックに解析する。
論文 参考訳（メタデータ） (2025-06-10T00:41:54Z) - Unifying Language Agent Algorithms with Graph-based Orchestration Engine for Reproducible Agent Research [32.92036657863354]
大規模言語モデル(LLM)を利用した言語エージェントは、複雑なタスクの理解、推論、実行において顕著な能力を示した。
しかし、堅牢なエージェントの開発には、相当なエンジニアリングオーバーヘッド、標準化されたコンポーネントの欠如、公正な比較のための十分な評価フレームワークなど、大きな課題がある。
我々はこれらの課題に対処するフレキシブルで抽象的なフレームワークであるAGORA(Agent Graph-based Orchestration for Reasoning and Assessment)を紹介した。
論文 参考訳（メタデータ） (2025-05-30T08:46:23Z) - Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。
当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。
当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
論文 参考訳（メタデータ） (2025-03-31T07:31:32Z) - Factored Agents: Decoupling In-Context Learning and Memorization for Robust Tool Use [4.437184840125514]
本稿ではエージェントAIにおける従来の単一エージェントシステムの限界を克服する新しいファクターエージェントアーキテクチャを提案する。
提案手法はエージェントを,(1)高レベルプランナーおよびインコンテキスト学習者として機能する大規模言語モデル,(2)ツールフォーマットと出力の記憶器として機能する小型言語モデルに分解する。
経験的評価により,本アーキテクチャは,テキスト内学習と静的記憶のトレードオフを解明しつつ,計画精度と誤り回復性を著しく向上することが示された。
論文 参考訳（メタデータ） (2025-03-29T01:27:11Z) - Large Language Model Agent: A Survey on Methodology, Applications and Challenges [88.3032929492409]
大きな言語モデル(LLM)エージェントは、目標駆動の振る舞いと動的適応能力を持ち、人工知能への重要な経路を示す可能性がある。
本調査は, LLMエージェントシステムを方法論中心の分類法により体系的に分解する。
私たちの作業は、エージェントの構築方法、コラボレーション方法、時間の経過とともにどのように進化するか、という、統一されたアーキテクチャの視点を提供します。
論文 参考訳（メタデータ） (2025-03-27T12:50:17Z) - Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳（メタデータ） (2025-02-18T17:12:26Z) - Agentic Reasoning: Reasoning LLMs with Tools for the Deep Research [7.4327380079414676]
本稿では,外部ツール利用エージェントを統合することで,大規模言語モデル(LLM)推論を強化するフレームワークであるAgentic Reasoningを紹介する。
本フレームワークでは,論理的関係を追跡するための構造化知識グラフを構築するMind Mapエージェントを導入している。
PhDレベルの科学的推論(GPQA)とドメイン固有の深層研究タスクの評価は、我々のアプローチが既存のモデルを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2025-02-07T04:08:46Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳（メタデータ） (2024-08-06T01:20:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。