論文の概要: The Devil Is in the Interface: Evaluating How Tool Architecture Shapes Coding Agent Behavior
- arxiv url: http://arxiv.org/abs/2608.11386v1
- Date: Tue, 11 Aug 2026 19:50:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.363581
- Title: The Devil Is in the Interface: Evaluating How Tool Architecture Shapes Coding Agent Behavior
- Title（参考訳）: インターフェースの悪 - ツールアーキテクチャがコーディングエージェントの振る舞いをどのように形作るかを評価する
- Abstract要約: 我々は,リポジトリレベルの問題修正に関する制御実験を通じて,コーディングエージェントのツールアーキテクチャについて検討する。
私たちの実験では、ツールが同じような機能を提供する場合でも、ツールアーキテクチャがエージェントの振る舞いを変えることが示されています。
- 参考スコア（独自算出の注目度）: 27.33402415317721
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models continue to improve, agentic systems are becoming increasingly important, and tools are a key design dimension because they determine how agents access information and take action in their environments. Prior work on agent tooling has primarily focused on expanding what agents can do, but has paid less systematic attention to how those capabilities are organized and exposed to the model. We refer to this latter design dimension as tool architecture. We study tool architecture in coding agents through controlled experiments on repository-level issue fixing, comparing six tool architectures that hold the underlying information and actions similar while varying how they are organized and exposed to the model, across three actors and a total of 11,700 trajectories. Our experiments show that, even when tools provide similar capabilities, tool architecture changes agent behavior: Compared to a basic architecture where the agent has only the bash tool, more structured low-level interfaces improve consistency across repeated attempts by up to 4.7 $\times$; natural-language search broadens repository exploration and increases access to relevant files by more than 11%; and Python CodeAct-style interfaces achieve similar task performance with 41.6% fewer steps and 56.3% lower token usage. By contrast, lightweight text-based cognitive-scaffolding tools, such as tools that let the agent record intermediate reasoning, have limited effect on actor behavior.
- Abstract（参考訳）: 大規模言語モデルの改善が進むにつれ、エージェントシステムはますます重要になってきており、エージェントが情報にアクセスし、その環境でアクションを行う方法を決定するため、ツールが重要な設計次元となっている。
エージェントツーリングに関する以前の作業は、主にエージェントができることを拡張することに焦点を当てていたが、それらの機能がどのように組織化され、モデルに公開されるかについて、体系的な注意を払わなかった。
この後者の設計次元をツールアーキテクチャと呼ぶ。
我々は,リポジトリレベルのイシューフィックスに関する制御実験を通じて,3つのアクタと合計11,700のトラジェクトリにまたがって,モデルがどのように構成され,公開されているかを変化させながら,その基盤となる情報とアクションを保持する6つのツールアーキテクチャを比較し,コーディングエージェントのツールアーキテクチャについて検討した。
エージェントがbashツールしか持たない基本的なアーキテクチャと比較して、より構造化された低レベルのインターフェースは、4.7$\times$まで繰り返し試みながら一貫性を改善します。
対照的に、エージェントが中間的推論を記録できるような軽量なテキストベースの認知スキャフォールディングツールは、アクターの行動に限定的な影響を及ぼす。
関連論文リスト
- ToolAtlas: Learning Once, Reusing Everywhere with Tool-Side Memory [49.08868447320197]
大規模言語モデル(LLM)エージェントは、共有プロバイダが提供する外部ツールにますます依存している。
既存のアプローチでは、パラメータ更新、プロンプトリファインメント、エージェント側のメモリを通じて、エージェント側のツール使用を改善する。
グラフベースのフレームワークであるToolAtlasを紹介します。
論文 参考訳（メタデータ） (2026-07-13T06:01:41Z) - SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents [64.59100414726556]
大規模言語モデル(LLM)エージェントは、コンテキスト、ツール、マルチターン実行を管理するハーネスに依存している。
Retrieval-augmented Tool selectionは、自然な代替手段を提供するが、既存のワンショット検索方法は、独立したツール記述とエージェントの真のタスク意図との整合に失敗する。
我々は、ユーザ意図、ツール機能、ツールコラボレーションパターンをリンクするインテントツーオールグラフを構築する、意図認識型のアクティブツール発見フレームワークであるSINGを提案する。
論文 参考訳（メタデータ） (2026-06-15T11:37:37Z) - Exploring Interaction Paradigms for LLM Agents in Scientific Visualization [7.22431217973039]
本稿では,大規模言語モデル(LLM)エージェントが科学的可視化(SciVis)タスクでどのように機能するかを検討する。
我々は、ドメイン固有のエージェントと構造化ツールの使用、コンピュータ利用エージェント、汎用コーディングエージェントの3つの主要な相互作用パラダイムを比較した。
論文 参考訳（メタデータ） (2026-04-30T15:22:28Z) - Semantic Tool Discovery for Large Language Models: A Vector-Based Approach to MCP Tool Selection [1.2633421050364024]
ツールコール機能を備えた大規模言語モデル(LLM)は、外部ツール統合による複雑なタスクの実行において、顕著な可能性を示している。
Model Context Protocol (MCP) は LLM を様々なツールセットに接続するための標準化されたフレームワークとして登場した。
本稿では,ベクトルベース検索によるこれらの課題に対処するセマンティックツール発見アーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-03-19T18:10:35Z) - DeepAgent: A General Reasoning Agent with Scalable Toolsets [111.6384541877723]
DeepAgentは、自律的な思考、ツール発見、アクション実行を実行するエンドツーエンドのディープ推論エージェントである。
長期にわたる相互作用の課題に対処するために,過去の相互作用を構造化エピソード,動作,ツール記憶に圧縮する自律的メモリ折り畳み機構を導入する。
LLMシミュレートされたAPIを活用し、ツール呼び出しトークンにきめ細かいクレジットを割り当てるツールコールアドバンテージ属性を適用した、エンドツーエンドの強化学習戦略であるToolPOを開発した。
論文 参考訳（メタデータ） (2025-10-24T16:24:01Z) - TheMCPCompany: Creating General-purpose Agents with Task-specific Tools [12.249551019598442]
TheMCPCompanyは、様々な現実世界のサービスと対話するタスクにおいて、ツールコールエージェントを評価するためのベンチマークである。
また、各タスクに手動でアノテートされた接地木ツールも提供します。
全体として、我々の研究は、最も高度な推論モデルは、より単純な環境でツールを見つけるのに効果的であるが、複雑なエンタープライズ環境をナビゲートするのに深刻な苦労をしていることを示している。
論文 参考訳（メタデータ） (2025-10-22T06:42:01Z) - ToolLibGen: Scalable Automatic Tool Creation and Aggregation for LLM Reasoning [80.10274552177096]
外部ツールを備えたLarge Language Models (LLM) は、複雑な推論タスクにおけるパフォーマンスの向上を実証している。
このツールに強化された推論が広く採用されるのは、ドメイン固有のツールが不足しているためである。
構造化ツールライブラリに非構造化ツールのコレクションを自動的に組み込むための体系的なアプローチを提案する。
論文 参考訳（メタデータ） (2025-10-09T04:11:16Z) - NaviAgent: Bilevel Planning on Tool Navigation Graph for Large-Scale Orchestration [13.925896302382043]
大規模言語モデル(LLM)は、最近、外部ツールを呼び出すことによって関数呼び出しエージェントとして機能する機能を示した。
そこで我々は,タスクプランニングをツール実行からツールエコシステムのグラフベースモデリングを通じて分離するNaviAgentを提案する。
実験によると、NaviAgentはモデルとタスク間で最高のタスク成功率を達成し、TWMNを統合することで、複雑なタスクで最大17ポイントパフォーマンスが向上する。
論文 参考訳（メタデータ） (2025-06-24T10:39:07Z) - SMART: Self-Aware Agent for Tool Overuse Mitigation [58.748554080273585]
現在のLarge Language Model (LLM) エージェントは、強力な推論とツールの使用能力を示すが、しばしば自己認識に欠ける。
この不均衡はツール・オーバーユースにつながり、モデルはパラメトリックな知識を持つタスクに対して、不要に外部ツールに依存する。
SMART(Strategic Model-Aware Reasoning with Tools)は、エージェントの自己認識を高め、タスクハンドリングを最適化し、ツールの過剰使用を減らすパラダイムである。
論文 参考訳（メタデータ） (2025-02-17T04:50:37Z) - AgentStudio: A Toolkit for Building General Virtual Agents [57.02375267926862]
一般的な仮想エージェントは、マルチモーダルな観察、複雑なアクション空間のマスター、動的でオープンなドメイン環境における自己改善を扱う必要がある。
AgentStudioは、非常に汎用的な観察とアクション空間を備えた軽量でインタラクティブな環境を提供する。
オンラインベンチマークタスクの作成、GUI要素の注釈付け、ビデオ内のアクションのラベル付けといったツールを統合する。
環境とツールに基づいて、GUIインタラクションと関数呼び出しの両方を効率的な自動評価でベンチマークするオンラインタスクスイートをキュレートします。
論文 参考訳（メタデータ） (2024-03-26T17:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。