論文の概要: Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger

• arxiv url: http://arxiv.org/abs/2502.12961v1
• Date: Tue, 18 Feb 2025 15:45:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:37.709744
• Title: Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger
• Title（参考訳）: メタ認知トリガーを用いた大規模言語モデルにおける適応ツールの利用
• Authors: Wenjun Li, Dexun Li, Kuicai Dong, Cong Zhang, Hao Zhang, Weiwen Liu, Yasheng Wang, Ruiming Tang, Yong Liu,
• Abstract要約: 我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
• 参考スコア（独自算出の注目度）: 49.81945268343162
• License:
• Abstract: Large language models (LLMs) have shown remarkable emergent capabilities, transforming the execution of functional tasks by leveraging external tools for complex problems that require specialized processing or real-time data. While existing research expands LLMs access to diverse tools (e.g., program interpreters, search engines, weather/map apps), the necessity of using these tools is often overlooked, leading to indiscriminate tool invocation. This naive approach raises two key issues:(1) increased delays due to unnecessary tool calls, and (2) potential errors resulting from faulty interactions with external tools. In this paper, we introduce meta-cognition as a proxy for LLMs self-assessment of their capabilities, representing the model's awareness of its own limitations. Based on this, we propose MeCo, an adaptive decision-making strategy for external tool use. MeCo quantifies metacognitive scores by capturing high-level cognitive signals in the representation space, guiding when to invoke tools. Notably, MeCo is fine-tuning-free and incurs minimal cost. Our experiments show that MeCo accurately detects LLMs' internal cognitive signals and significantly improves tool-use decision-making across multiple base models and benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特殊な処理やリアルタイムデータを必要とする複雑な問題に対して外部ツールを活用することで、機能的タスクの実行を変革する、目覚ましい能力を示している。 既存の研究は、多様なツール(例えば、プログラムインタプリタ、検索エンジン、天気/マップアプリ)へのアクセスをLLMに拡張しているが、これらのツールを使う必要性はしばしば見落とされ、ツールの実行が不明確になる。 この単純なアプローチは、(1)不要なツールコールによる遅延の増加、(2)外部ツールとの不正なインタラクションによる潜在的なエラーの2つの大きな問題を提起する。 本稿では,LLMの自己評価のプロキシとしてメタ認知を導入する。 そこで本研究では,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間の高レベル認知信号を捕捉し、ツールをいつ呼び出すかを導くことによって、メタ認知スコアを定量化する。 特にMeCoは微調整不要で、最小限のコストがかかる。 実験の結果,MeCoはLLMの内部認知信号を正確に検出し,複数のベースモデルとベンチマーク間のツール使用意思決定を大幅に改善することがわかった。

関連論文リスト

• Learning Evolving Tools for Large Language Models [44.25796648300785]
  ツール学習により、大きな言語モデル(LLM)が外部ツールやAPIと対話できるようになる。 ToolEVOは、ツールの可変性に対するLLMの適応性と反射性を高めるために設計された、新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T07:14:45Z)
• LLM With Tools: A Survey [0.0]
  本稿では,LCMに外部ツールの使用を教える領域における方法論,問題点,展開について述べる。 ユーザ命令を実行可能なプランにマッピングする一連の関数によってガイドされるツール統合のための標準化パラダイムを導入する。 調査の結果,ツール起動タイミング,選択精度,堅牢な推論プロセスの必要性など,さまざまな課題が明らかになった。
  論文  参考訳（メタデータ） (2024-09-24T14:08:11Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models [26.28459880766842]
  意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。 具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。 提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
  論文  参考訳（メタデータ） (2024-02-26T16:11:03Z)
• Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
  UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。 現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。 UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
  論文  参考訳（メタデータ） (2024-01-30T16:52:56Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。