論文の概要: SMART: Self-Aware Agent for Tool Overuse Mitigation

• arxiv url: http://arxiv.org/abs/2502.11435v1
• Date: Mon, 17 Feb 2025 04:50:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:58.994299
• Title: SMART: Self-Aware Agent for Tool Overuse Mitigation
• Title（参考訳）: SMART:ツールの過剰使用軽減のためのセルフアウェアエージェント
• Authors: Cheng Qian, Emre Can Acikgoz, Hongru Wang, Xiusi Chen, Avirup Sil, Dilek Hakkani-Tür, Gokhan Tur, Heng Ji,
• Abstract要約: 現在のLarge Language Model (LLM) エージェントは、強力な推論とツールの使用能力を示すが、しばしば自己認識に欠ける。 この不均衡はツール・オーバーユースにつながり、モデルはパラメトリックな知識を持つタスクに対して、不要に外部ツールに依存する。 SMART(Strategic Model-Aware Reasoning with Tools)は、エージェントの自己認識を高め、タスクハンドリングを最適化し、ツールの過剰使用を減らすパラダイムである。
• 参考スコア（独自算出の注目度）: 58.748554080273585
• License:
• Abstract: Current Large Language Model (LLM) agents demonstrate strong reasoning and tool use capabilities, but often lack self-awareness, failing to balance these approaches effectively. This imbalance leads to Tool Overuse, where models unnecessarily rely on external tools for tasks solvable with parametric knowledge, increasing computational overhead. Inspired by human metacognition, we introduce SMART (Strategic Model-Aware Reasoning with Tools), a paradigm that enhances an agent's self-awareness to optimize task handling and reduce tool overuse. To support this paradigm, we introduce SMART-ER, a dataset spanning three domains, where reasoning alternates between parametric knowledge and tool-dependent steps, with each step enriched by rationales explaining when tools are necessary. Through supervised training, we develop SMARTAgent, a family of models that dynamically balance parametric knowledge and tool use. Evaluations show that SMARTAgent reduces tool use by 24% while improving performance by over 37%, enabling 7B-scale models to match its 70B counterpart and GPT-4o. Additionally, SMARTAgent generalizes to out-of-distribution test data like GSM8K and MINTQA, maintaining accuracy with just one-fifth the tool calls. These highlight the potential of strategic tool use to enhance reasoning, mitigate overuse, and bridge the gap between model size and performance, advancing intelligent and resource-efficient agent designs.
• Abstract（参考訳）: 現在のLarge Language Model(LLM)エージェントは、強力な推論とツールの使用能力を示しているが、しばしば自己認識が欠如しており、これらのアプローチを効果的にバランスが取れていない。 この不均衡はツール・オーバーユースにつながり、モデルはパラメトリック知識で解決可能なタスクのために外部ツールを不要に頼り、計算オーバーヘッドを増大させる。 SMART(Strategic Model-Aware Reasoning with Tools:Strategic Model-Aware Reasoning with Tools)は、エージェントの自己認識を高め、タスクハンドリングの最適化とツールの過剰使用を減らすパラダイムである。 このパラダイムをサポートするために,3つの領域にまたがるデータセットSMART-ERを紹介した。 教師付きトレーニングを通じて、パラメトリック知識とツール使用の動的バランスをとるモデルのファミリーであるSMARTAgentを開発する。 SMARTAgentはツール使用率を24%削減し,パフォーマンスを37%以上向上した。 さらに、SMARTAgentはGSM8KやMINTQAのような配布外テストデータに一般化し、ツールコールの5分の1の精度を維持している。 これらは、推論を強化し、過剰使用を軽減し、モデルのサイズとパフォーマンスのギャップを埋め、インテリジェントでリソース効率の良いエージェント設計を進化させる戦略ツールの可能性を強調している。

関連論文リスト

• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• LLM Agents Making Agent Tools [2.5529148902034637]
  ツールの使用は、大規模言語モデル(LLM)を、複雑なマルチステップタスクを実行できる強力なエージェントに変えた。 論文をコードで自律的にLLM互換のツールに変換する新しいエージェントフレームワークであるToolMakerを提案する。 タスク記述とリポジトリURLが短いので、ToolMakerは必要な依存関係を自律的にインストールし、タスクを実行するコードを生成する。
  論文  参考訳（メタデータ） (2025-02-17T11:44:11Z)
• SMARTCAL: An Approach to Self-Aware Tool-Use Evaluation and Calibration [24.739131794947838]
  我々は,2つの主要なツール・ユース・フレームワークを持つ3つのデータセット上で,最先端のLarge Language Models (LLM) ファミリーの研究を行う。 本研究は,自信過剰にツールを誤用する傾向にあるLSMのツール使用行動を明らかにする。 我々は、観察された問題を緩和するための新しいアプローチ、textitCALを提案する。
  論文  参考訳（メタデータ） (2024-12-11T06:09:12Z)
• Toolshed: Scale Tool-Equipped Agents with Advanced RAG-Tool Fusion and Tool Knowledge Bases [0.0]
  強化されたツール表現を格納するように設計されたツール知識ベース(ベクトルデータベース)であるToolshed Knowledge Basesを紹介する。 RAG-Tool Fusion(Advanced RAG-Tool Fusion)も提案する。 このアプローチでは,ToolEシングルツール,ToolEマルチツール,Seal-Toolsベンチマークデータセットの46%,56%,絶対的な改善を実現しています。
  論文  参考訳（メタデータ） (2024-10-18T16:44:22Z)
• MetaTool: Facilitating Large Language Models to Master Tools with Meta-task Augmentation [25.360660222418183]
  再利用可能なツールセットにまたがって一般化するために設計された,新しいツール学習手法であるMetaToolを紹介する。 メタタスクデータをタスク指向トレーニングに組み込むことで,オープンソースの大規模言語モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-15T10:15:41Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
  オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。 現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
  論文  参考訳（メタデータ） (2024-03-29T03:48:12Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。