論文の概要: From Question Answering to Task Completion: A Survey on Agent System and Harness Design
- arxiv url: http://arxiv.org/abs/2606.20683v1
- Date: Sun, 14 Jun 2026 05:40:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 16:10:57.275235
- Title: From Question Answering to Task Completion: A Survey on Agent System and Harness Design
- Title（参考訳）: 質問応答からタスク完了へ:エージェントシステムとハーネス設計に関する調査
- Abstract要約: 本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。
まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。
次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
- 参考スコア（独自算出の注目度）: 67.8241530947325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based agents mark a shift from passive question answering to active task completion: they perceive environments, invoke tools, maintain state, and act over extended horizons. As agent systems have evolved from prompt engineering to workflows and context engineering, harness engineering, and agent-native training with co-evolution, a central question has become increasingly important: where does the bottleneck in agent performance reside, in the foundation model, in the execution harness, or in the coupling between them? This survey examines LLM-based agents through a model-harness lens. We first clarify the functional definition of agents and the implementation view of an LLM-based agent as a foundation model coupled with an execution harness. We then analyze the limits of model-centric scaling, trace four paradigms of agent engineering, and decompose the execution harness into six coupled runtime responsibilities: observation, context, control, action, state, and verification. Using this decomposition, we map task properties and domain pressures to harness configurations, review benchmark and evaluation practices, and synthesize model-harness evidence on how runtime design affects long-horizon task completion, efficiency, and reliability. Finally, we identify open challenges in value-aware evaluation, safety, harness generalization, and model-harness co-evolution. Rather than treating agents as models with auxiliary tools, this survey argues that agent quality -- including success, efficiency, safety, and generalization -- emerges from the interaction between model capability, runtime infrastructure, task structure, and evaluation design. A collection of papers discussed in this survey is provided in https://github.com/ggjy/Awesome-Agent-Engineering.
- Abstract（参考訳）: LLMベースのエージェントは、受動的質問応答からアクティブなタスク完了への移行を示す。
エージェントシステムは、迅速なエンジニアリングからワークフローやコンテキストエンジニアリング、ハーネスエンジニアリング、および共進化によるエージェントネイティブトレーニングへと進化してきたため、エージェントパフォーマンスのボトルネックは、基盤モデル、実行ハーネス、あるいはそれら間の結合の中でどこに存在するのか?
本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。
まず,実行ハーネスと結合した基礎モデルとして,エージェントの機能的定義とLCMベースのエージェントの実装ビューを明らかにする。
次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを、観察、コンテキスト、制御、アクション、状態、検証の6つの結合ランタイム責任に分解する。
この分解を用いて、タスク特性とドメインプレッシャをマッピングし、設定を活用、ベンチマークと評価のプラクティスをレビューし、ランタイム設計が長期タスクの完了、効率、信頼性にどのように影響するかに関するモデルハーネスのエビデンスを合成する。
最後に、価値意識評価、安全性、一般化の活用、モデルハーネス共進化におけるオープンな課題を特定する。
この調査は、エージェントを補助的なツールでモデルとして扱うのではなく、モデル能力、ランタイムインフラストラクチャ、タスク構造、評価設計の間の相互作用から、エージェントの品質(成功、効率、安全性、一般化など)が生まれると主張している。
この調査で論じられた論文の集合は、https://github.com/ggjy/Awesome-Agent-Engineering.orgにある。
関連論文リスト
- Behavioral Controllability of Agentic Models for Information Extraction: From Fixed Workflows to Reflective Agents [4.2476244489062704]
本研究では,リフレクションやメモリなどのエージェント成分が,固定LDMエージェントよりも観測可能かつ制御可能な改善をもたらすかを検討した。
固定されたワークフローベースラインと反射エージェントの変種を比較し、最適化されたエージェント条件を指定する。
評価では,ツールの実行,再試行,リフレクション,メモリ使用,実行時の障害回復など,プロセスレベルの動作が重視される。
論文 参考訳（メタデータ） (2026-07-17T07:51:09Z) - Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳（メタデータ） (2026-05-27T03:47:35Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳（メタデータ） (2026-05-18T17:59:03Z) - Beyond Individual Intelligence: Surveying Collaboration, Failure Attribution, and Self-Evolution in LLM-based Multi-Agent Systems [65.90791804095561]
マルチエージェントシステムは、特殊エージェント間の構造化された協調を通じてこの問題に対処するが、より厳密な調整は、あまり検討されていないリスクを増幅する。
既存の調査では、個々のエージェント能力、マルチエージェントのコラボレーション、エージェントの自己進化を別々にカバーしている。
この調査は4つの因果関係のあるステージを中心にまとめられた統一されたレビューを提供する。これはLIFEの進展(Lay the capabilities foundation)、協力によるエージェントの統合、帰属による障害の発見、自律的な自己改善によるEvolveである。
論文 参考訳（メタデータ） (2026-05-14T14:36:13Z) - A Comprehensive Survey on Agent Skills: Taxonomy, Techniques, and Applications [18.01291032624805]
大きな言語モデル(LLM)ベースのエージェントは、複雑なタスクを自動化するための有望なパラダイムとして、ツール、メモリ、構造化された相互作用を推論し、計画し、行動する。
しかし、エージェントがオープンエンドの現実世界のデプロイメントに向かっていくにつれ、すべてのタスクに対するオフスクラッチ推論と低レベルのツールコールが、ますます非効率になり、エラーが発生し、メンテナンスが困難になる。
本研究は,タスク固有の制約の下で,ツール,メモリ,ランタイムコンテキストを協調する再利用可能な手続き的アーティファクトとして定義する。
論文 参考訳（メタデータ） (2026-05-08T07:10:26Z) - Beyond Task Completion: An Assessment Framework for Evaluating Agentic AI Systems [0.0]
エージェントAIの最近の進歩は、スタンドアロンの大規模言語モデルから統合システムへと焦点を移している。
LLM、メモリ、ツール、環境を含む4つの評価柱を持つエンドツーエンドのエージェントアセスメントフレームワークを提案する。
我々はこのフレームワークを、従来のメトリクスによる振る舞いの偏りを示す、代表的なAutonomous CloudOpsユースケースで検証する。
論文 参考訳（メタデータ） (2025-12-14T18:17:40Z) - AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。
プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。
AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
論文 参考訳（メタデータ） (2025-11-11T14:57:54Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - Large Language Model Agent: A Survey on Methodology, Applications and Challenges [88.3032929492409]
大きな言語モデル(LLM)エージェントは、目標駆動の振る舞いと動的適応能力を持ち、人工知能への重要な経路を示す可能性がある。
本調査は, LLMエージェントシステムを方法論中心の分類法により体系的に分解する。
私たちの作業は、エージェントの構築方法、コラボレーション方法、時間の経過とともにどのように進化するか、という、統一されたアーキテクチャの視点を提供します。
論文 参考訳（メタデータ） (2025-03-27T12:50:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。