論文の概要: When2Call: When (not) to Call Tools

• arxiv url: http://arxiv.org/abs/2504.18851v1
• Date: Sat, 26 Apr 2025 08:30:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.017613
• Title: When2Call: When (not) to Call Tools
• Title（参考訳）: When2Call: ツールを呼び出すのにいつ(しない)か
• Authors: Hayley Ross, Ameya Sunil Mahabaleshwarkar, Yoshi Suhara,
• Abstract要約: 外部ツールの活用は、現代言語モデル(LM)の重要な機能である 我々はツールコールによる意思決定を評価する新しいベンチマークであるWhen2Callを開発した。 我々はまた、When2Callのトレーニングセットを開発し、ベンチマークの多重選択特性を活用して、優先最適化トレーニングシステムを開発する。
• 参考スコア（独自算出の注目度）: 2.326289276871883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging external tools is a key feature for modern Language Models (LMs) to expand their capabilities and integrate them into existing systems. However, existing benchmarks primarily focus on the accuracy of tool calling -- whether the correct tool is called with the correct parameters -- and less on evaluating when LMs should (not) call tools. We develop a new benchmark, When2Call, which evaluates tool-calling decision-making: when to generate a tool call, when to ask follow-up questions and when to admit the question can't be answered with the tools provided. We find that state-of-the-art tool-calling LMs show significant room for improvement on When2Call, indicating the importance of this benchmark. We also develop a training set for When2Call and leverage the multiple-choice nature of the benchmark to develop a preference optimization training regime, which shows considerably more improvement than traditional fine-tuning. We release the benchmark and training data as well as evaluation scripts at https://github.com/NVIDIA/When2Call.
• Abstract（参考訳）: 外部ツールを活用することは、現代の言語モデル(LM)が機能を拡張し、既存のシステムに統合する上で重要な機能である。 しかし、既存のベンチマークはツール呼び出しの正確さ(正しいツールが正しいパラメータで呼ばれるかどうか)に重点を置いている。 我々は、ツールコールの意思決定を評価する新しいベンチマークであるWhen2Callを開発し、ツールコールの生成時期、フォローアップ質問のタイミング、提供されたツールでその質問を承認するタイミングなどを評価する。 我々は、現在最先端のツールコール LM が When2Call に改善の余地があることを示し、このベンチマークの重要性を示している。 我々はまた、When2Callのトレーニングセットを開発し、ベンチマークの多重選択特性を活用して、従来の微調整よりも大幅に改善された選好最適化トレーニングシステムを開発する。 ベンチマークとトレーニングデータだけでなく、https://github.com/NVIDIA/When2Call.comで評価スクリプトもリリースしています。

関連論文リスト

• OTC: Optimal Tool Calls via Reinforcement Learning [87.28134636548705]
  ツール統合報酬は,正しさとツール効率を共同で考慮し,高いツール生産性を向上する。 このアプローチでは,ツールコールを最大73.1%削減し,ツールの生産性を最大229.4%向上すると同時に,同等の回答精度を維持している。
  論文  参考訳（メタデータ） (2025-04-21T05:40:05Z)
• Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models [8.573278807410507]
  ツール学習は、大きな言語モデル(LLM)の使用シナリオをさらに広げることができる。 本稿では,新しいツール学習手法であるChain-of-Toolsを提案する。 CoT推論でツール呼び出しを終了するために、フリーズLDMの強力なセマンティック表現機能をフル活用する。
  論文  参考訳（メタデータ） (2025-03-21T01:26:12Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• Efficient and Scalable Estimation of Tool Representations in Vector Space [34.767193045989515]
  ツール検索のための合成データを生成するためのフレームワークと,小型エンコーダモデルを用いた効率的なデータ駆動型ツール検索戦略を提案する。 ToolBankは、実際のユーザ利用を反映した、新しいツール検索データセットです。 これらの新しい方法により、ToolBenchデータセット上のRecall@Kで最大27.28、ToolBank上のRecall@Kで30.5の改善を実現しています。
  論文  参考訳（メタデータ） (2024-09-02T19:39:24Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities [30.030101957186595]
  ToolSandboxは、大規模言語モデル(LLM)の評価フレームワークである。 ToolSandboxには、ステートフルなツール実行、ツール間の暗黙のステート依存性、オン・ポリケーションの会話評価をサポートする組み込みユーザシミュレータが含まれている。 オープンソースとプロプライエタリなモデルには大きなパフォーマンスギャップがあることを示し、ToolSandboxで定義された状態依存、正準化、不十分な情報といった複雑なタスクは、最も有能なSOTA LLMでさえも挑戦している。
  論文  参考訳（メタデータ） (2024-08-08T05:45:42Z)
• Enhancing Tool Retrieval with Iterative Feedback from Large Language Models [9.588592185027455]
  大規模言語モデル(LLM)は、コンテキスト内学習や微調整を通じて、ある程度のツールを効果的に扱うことができる。 現実のシナリオでは、ツールの数は一般的に広範囲で不規則に更新され、専用のツール検索コンポーネントの必要性を強調している。 本稿では,大規模言語モデルからの反復的なフィードバックでツール検索を強化することを提案する。
  論文  参考訳（メタデータ） (2024-06-25T11:12:01Z)
• What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
  言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。 LMが使用する外部プログラムとしてツールを統一的に定義する。 各種ツールの効率を実証的に検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:20:07Z)
• TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
  本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。 ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
  論文  参考訳（メタデータ） (2024-02-21T22:41:38Z)
• ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs [104.37772295581088]
  オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。 データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。 ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
  論文  参考訳（メタデータ） (2023-07-31T15:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。