論文の概要: Doing Less with More: A First-Principles Exploration of the Suitability of Agentic Computing over Alternative Architectural Choices
- arxiv url: http://arxiv.org/abs/2610.23921v1
- Date: Mon, 05 Oct 2026 15:59:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 15:39:16.157125
- Title: Doing Less with More: A First-Principles Exploration of the Suitability of Agentic Computing over Alternative Architectural Choices
- Title(参考訳): より多くのことをする - 代替的なアーキテクチャ選択よりもエージェントコンピューティングの適合性を第一原理で探る
- Abstract要約: エージェントが確立された代替案よりも好まれる時期については、ほとんど分かっていない。
算術式1000のベンチマークで7つの手法を比較した。
最高のエージェントは99.9%の精度に達するが、ベースライン遅延の約1000,000倍になる。
- 参考スコア(独自算出の注目度): 8.239290146105557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is growing interest in automating business activities with Agentic Artificial Intelligence (AI) due to latter's seeming ease of use. Never has it been easier, or costlier, to do less with more. However, little is known about when agents are preferable to established alternatives such as local computation, Representational State Transfer (REST), the Simple Object Access Protocol (SOAP), and the Model Context Protocol (MCP), particularly when development speed, performance, and operational cost are considered. We investigate this question using a controlled mathematical task that compares seven methods on a benchmark of 1,000 arithmetic expressions where semantics of operator precedence has to be preserved. We ran this setup across a native Function Calling baseline (Python library), REST, SOAP and MCP microservice architectures, direct responses from large language models (LLMs) using a Groq cloud API and five locally deployed Ollama models, and agentic systems in which five local LLMs invoke MCP tools. The deterministic methods achieve 100% accuracy with negligible latency. Direct LLM evaluation achieves at most 92.9% accuracy at over 22,000x the latency of a native function call. With MCP tools, the best agent reaches 99.9% accuracy, but incurs nearly 1,000,000x the baseline latency. These results demonstrate that LLMs approaches are poorly suited for exact arithmetic evaluation and motivate an informed architectural decision framework (ADF) for choosing an architecture based on accuracy and throughput requirements. We recognize that an actual interaction with an agent may span both reasoning and linguistic tasks. Hence our recommendation is to explore multiple architectural choices (based on task type) rather than one-size-fits-all solution (LLMs). Code is available at - https://github.com/Ritvik-G/adf/
- Abstract(参考訳): エージェント人工知能(AI)によるビジネス活動の自動化への関心が高まっている。
より多くのことを行うのが簡単で、よりコストのかかるものではなかったのです。
しかし、エージェントがローカル計算やRepresentational State Transfer(REST)、Simple Object Access Protocol(SOAP)、Model Context Protocol(MCP)といった確立した代替手段に好まれるかどうかについては、特に開発速度、パフォーマンス、運用コストを考慮すると、ほとんど分かっていない。
我々は,演算子のセマンティクスを保存しなければならない1000の算術式をベンチマークで比較する,制御された数学的タスクを用いて,この問題を考察する。
私たちはこのセットアップを、ネイティブなFunction Callingベースライン(Pythonライブラリ)、REST、SOAP、MPPマイクロサービスアーキテクチャ、GroqクラウドAPIと5つのローカルデプロイされたOllamaモデルを使用した大規模言語モデル(LLM)からの直接応答、および5つのローカルLLMがMPPツールを呼び出すエージェントシステムで実行しました。
決定論的手法は、無視できるレイテンシで100%精度を達成する。
直接LLM評価は92.9%の精度でネイティブ関数呼び出しの22,000倍以上のレイテンシで達成される。
MCPツールでは、最高のエージェントは99.9%の精度に達するが、ベースライン遅延の約1000,000倍の遅延が発生する。
これらの結果から,LLMの手法は正確な算術的評価には不適であり,精度とスループットの要求に基づいてアーキテクチャを選択するための情報アーキテクチャ決定フレームワーク (ADF) を動機付けていることがわかった。
我々はエージェントとの実際の相互作用が推論と言語的タスクの両方にまたがる可能性があることを認識している。
したがって、我々は、LLM(One-Size-fits-all Solution)ではなく、複数のアーキテクチャ選択(タスクタイプに基づく)を検討することを推奨しています。
コードは https://github.com/Ritvik-G/adf/ で入手できる。
関連論文リスト
- MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building Better AI [92.82821272460423]
MLS-Benchは、AIシステムが一般化可能なスケーラブルなMLメソッドを発明できるかどうかを評価するためのベンチマークである。
本研究では, エージェントの探索性能に及ぼすテスト時間スケーリング, 適応型計算アロケーション, コンテキストプロビジョニングの影響について検討する。
論文 参考訳(メタデータ) (2026-05-09T04:29:46Z) - AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。
プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。
AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
論文 参考訳(メタデータ) (2025-11-11T14:57:54Z) - CodeAgents: A Token-Efficient Framework for Codified Multi-Agent Reasoning in LLMs [16.234259194402163]
マルチエージェント推論を符号化し、マルチエージェントシステムにおける構造化されたトークン効率の計画を可能にするプロンプトフレームワークであるCodeAgentsを紹介する。
その結果, 計画性能は一貫した改善がみられ, 基本となる自然言語よりも3~36ポイントの絶対的な向上が見られた。
論文 参考訳(メタデータ) (2025-07-04T02:20:19Z) - Distilling LLM Agent into Small Models with Retrieval and Code Tools [65.73762766854192]
Agent Distillationは、推論能力とタスク解決の振る舞いを大きな言語モデルから小さな言語モデルに移行するためのフレームワークである。
その結果,SLMは0.5B,1.5B,3Bのパラメータで,次世代の1.5B,3B,7Bモデルと競合する性能が得られることがわかった。
論文 参考訳(メタデータ) (2025-05-23T08:20:15Z) - Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。
対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。
我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
論文 参考訳(メタデータ) (2025-02-03T18:35:42Z) - AgentQuest: A Modular Benchmark Framework to Measure Progress and Improve LLM Agents [19.439775106707344]
AgentQuestは、ベンチマークとメトリクスがモジュール化され、十分にドキュメント化され使いやすいAPIを通じて容易に利用できるフレームワークである。
課題を解決しながら LLM エージェントの進捗を確実に追跡できる2つの新しい評価指標を提供する。
一般的な障害点を特定し,エージェントアーキテクチャを洗練し,大幅な性能向上を実現する2つのユースケースにおけるメトリクスの有用性を実証する。
論文 参考訳(メタデータ) (2024-04-09T16:01:24Z) - A Unified and Efficient Coordinating Framework for Autonomous DBMS
Tuning [34.85351481228439]
既存のMLベースのエージェントを効率的に活用するための統合コーディネートフレームワークを提案する。
機械学習ベースのエージェントを効果的に利用し、ワークロードの実行時間に1.414.1Xのスピードアップでより良い設定を実現できることを示す。
論文 参考訳(メタデータ) (2023-03-10T05:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。