論文の概要: The Art of Tool Interface Design
- arxiv url: http://arxiv.org/abs/2503.21036v1
- Date: Wed, 26 Mar 2025 23:02:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-28 12:53:11.351808
- Title: The Art of Tool Interface Design
- Title(参考訳): ツールインタフェース設計の技術
- Authors: Yunnan Wu, Paul Chen, Deshank Baranwal, Jinlong Zhou, Jian Yuan,
- Abstract要約: 本稿では,課題推論タスクにおける最先端技術を実現するエージェントフレームワーク,Thinkerを提案する。
GPT-4o(バージョン2024-06-01)で82.6%の成功率(ベースライン:68.3%)、Llama-3.1 405B(ベースライン:49.6%)で81.9%の成功率を達成した。
- 参考スコア(独自算出の注目度): 4.330111173030933
- License:
- Abstract: We present an agentic framework, Thinker, which achieves state of art performance in challenging reasoning tasks for realistic customer service scenarios that involve complex business logic and human interactions via long horizons. On the $\tau$-bench retail dataset, Thinker achieves 82.6\% success rate with GPT-4o (version 2024-06-01) (baseline: 68.3\%), and 81.9\% success rate with Llama-3.1 405B (baseline: 49.6\%), without any fine-tuning. Thinker effectively closes the gap in reasoning capabilities between the base models by introducing proper structure. The key features of the Thinker framework are: (1) State-Machine Augmented Generation (SMAG), which represents business logic as state machines and the LLM uses state machines as tools. (2) Delegation of tasks from the main reasoning loop to LLM-powered tools. (3) Adaptive context management. Our prompting-only solution achieves signficant gains, while still maintaining a standard agentic architecture with a ReAct style reasoning loop. The key is to innovate on the tool interface design, as exemplified by SMAG and the LLM-powered tools.
- Abstract(参考訳): 我々は、複雑なビジネスロジックと長い地平線を通じたヒューマンインタラクションを含む現実的な顧客サービスシナリオの推論タスクに挑戦して、最先端の技術的パフォーマンスを実現するエージェントフレームワーク、Thinkerを提案する。
$\tau$-benchの小売データセットでは、GPT-4o(バージョン2024-06-01)で82.6\%(ベースライン:68.3\%)、Llama-3.1 405B(ベースライン:49.6\%)で81.9\%(ベースライン:49.6\%)を達成している。
思考者は、適切な構造を導入することで、ベースモデル間の推論能力のギャップを効果的に埋める。
1)ステートマシンとしてビジネスロジックを表現するステートマシン(SMAG)と、LLMはステートマシンをツールとして使用する。
2) 主推論ループからLCMツールへのタスクの委譲。
(3)適応的文脈管理。
我々のプロンプトのみのソリューションは、ReActスタイルの推論ループを持つ標準的なエージェントアーキテクチャを維持しながら、顕著な利益を達成する。
鍵となるのは、SMAG や LLM ベースのツールが示すように、ツールインターフェースの設計を革新することである。
関連論文リスト
- Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。
MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。
実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
論文 参考訳(メタデータ) (2025-02-18T15:45:01Z) - SMART: Self-Aware Agent for Tool Overuse Mitigation [58.748554080273585]
現在のLarge Language Model (LLM) エージェントは、強力な推論とツールの使用能力を示すが、しばしば自己認識に欠ける。
この不均衡はツール・オーバーユースにつながり、モデルはパラメトリックな知識を持つタスクに対して、不要に外部ツールに依存する。
SMART(Strategic Model-Aware Reasoning with Tools)は、エージェントの自己認識を高め、タスクハンドリングを最適化し、ツールの過剰使用を減らすパラダイムである。
論文 参考訳(メタデータ) (2025-02-17T04:50:37Z) - MATATA: A weakly-supervised MAthematical Tool-Assisted reasoning for Tabular Applications [0.9831489366502302]
MATATAは、推論、計画、ツール使用を通じてデータ問題に対してLLMエージェントを訓練するコスト効率のよい方法である。
3.8B/8B SLM(Small Language Models)は、特にローカルホスティングとセンシティブなビジネスコンテキストに向いている。
実験により、MATATAはオープンソースモデルに基づく推論フレームワークのうち、FinQAとTAT-QAで最先端のパフォーマンスに達することが示された。
論文 参考訳(メタデータ) (2024-11-28T05:12:17Z) - Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。
本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。
我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
論文 参考訳(メタデータ) (2024-11-27T18:04:05Z) - GTA: A Benchmark for General Tool Agents [32.443456248222695]
229個の実世界のタスクと実行可能なツールチェーンを設計し、主要な大言語モデル(LLM)を評価する。
GPT-4 はタスクの 50% 以下であり,ほとんどの LLM は 25% 以下である。
この評価は、現実シナリオにおける現在のLLMのツール利用能力のボトルネックを明らかにし、汎用ツールエージェントを前進させるための今後の方向性を提供する。
論文 参考訳(メタデータ) (2024-07-11T17:50:09Z) - Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。
マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。
マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-30T21:53:30Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳(メタデータ) (2023-09-29T17:40:26Z) - Large Language Models as Tool Makers [85.00361145117293]
我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。
ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
論文 参考訳(メタデータ) (2023-05-26T17:50:11Z) - ART: Automatic multi-step reasoning and tool-use for large language
models [105.57550426609396]
大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。
各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。
プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
論文 参考訳(メタデータ) (2023-03-16T01:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。