論文の概要: What Affects the Stability of Tool Learning? An Empirical Study on the Robustness of Tool Learning Frameworks

• arxiv url: http://arxiv.org/abs/2407.03007v1
• Date: Wed, 3 Jul 2024 11:06:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:35:46.928772
• Title: What Affects the Stability of Tool Learning? An Empirical Study on the Robustness of Tool Learning Frameworks
• Title（参考訳）: ツール学習の安定性に影響を及ぼすもの : ツール学習フレームワークのロバスト性に関する実証的研究
• Authors: Chengrui Huang, Zhengliang Shi, Yuntao Wen, Xiuying Chen, Peng Han, Shen Gao, Shuo Shang,
• Abstract要約: 本稿では,ツール学習フレームワークの性能に及ぼす内部要因と外部要因の影響について検討する。 今後の研究には、LCMが試行錯誤の増加から大きな恩恵を受けることができるという観察など、洞察に富んだ結論がいくつか見出される。
• 参考スコア（独自算出の注目度）: 33.51887014808227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool learning methods have enhanced the ability of large language models (LLMs) to interact with real-world applications. Many existing works fine-tune LLMs or design prompts to enable LLMs to select appropriate tools and correctly invoke them to meet user requirements. However, it is observed in previous works that the performance of tool learning varies from tasks, datasets, training settings, and algorithms. Without understanding the impact of these factors, it can lead to inconsistent results, inefficient model deployment, and suboptimal tool utilization, ultimately hindering the practical integration and scalability of LLMs in real-world scenarios. Therefore, in this paper, we explore the impact of both internal and external factors on the performance of tool learning frameworks. Through extensive experiments on two benchmark datasets, we find several insightful conclusions for future work, including the observation that LLMs can benefit significantly from increased trial and exploration. We believe our empirical study provides a new perspective for future tool learning research.
• Abstract（参考訳）: ツール学習手法は、大規模言語モデル(LLM)が現実世界のアプリケーションと対話する能力を向上した。 多くの既存の作業は、LCMが適切なツールを選択し、ユーザ要求を満たすためにそれらを正しく呼び出せるように、LCMや設計プロンプトを微調整する。 しかし、以前の研究では、ツール学習のパフォーマンスはタスク、データセット、トレーニング設定、アルゴリズムによって異なることが示されている。 これらの要因の影響を理解できなければ、一貫性のない結果、非効率なモデルデプロイメント、最適なツール利用につながる可能性があり、現実のシナリオにおけるLLMの実践的な統合とスケーラビリティを妨げます。 そこで本稿では,ツール学習フレームワークの性能に及ぼす内部要因と外部要因の影響について検討する。 2つのベンチマークデータセットに関する広範な実験を通じて、LLMが試行錯誤と探索の増加から大きな恩恵を受けるという観察を含む、将来の研究に対する洞察に富んだ結論がいくつか見つかる。 我々は、我々の実証的研究が将来のツール学習研究に新たな視点をもたらすと信じている。

関連論文リスト

• Tool Learning with Large Language Models: A Survey [60.733557487886635]
  大規模言語モデル(LLM)を用いたツール学習は,高度に複雑な問題に対処するLLMの能力を強化するための,有望なパラダイムとして登場した。 この分野での注目と急速な進歩にもかかわらず、現存する文献は断片化され、体系的な組織が欠如している。
  論文  参考訳（メタデータ） (2024-05-28T08:01:26Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• COLT: Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  そこで我々は,Collaborative Learning-based Tool Retrieval approach, COLTを提案する。 COLTはユーザクエリとツール記述のセマンティックな類似性をキャプチャする。 また、ツールの協調的な情報も考慮に入れている。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs [62.496139001509114]
  大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。 このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。 ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2024-02-28T08:42:23Z)
• Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models [28.19932548630398]
  意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。 具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。 提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
  論文  参考訳（メタデータ） (2024-02-26T16:11:03Z)
• ToolEyes: Fine-Grained Evaluation for Tool Learning Capabilities of Large Language Models in Real-world Scenarios [48.38419686697733]
  本稿では,大規模言語モデルのツール学習能力を評価するためのシステムであるToolEyesを提案する。 このシステムは7つの現実シナリオを慎重に分析し、ツール学習においてLLMに不可欠な5次元を解析する。 ToolEyesには,約600のツールを備えたツールライブラリが組み込まれている。
  論文  参考訳（メタデータ） (2024-01-01T12:49:36Z)
• Confucius: Iterative Tool Learning from Introspection Feedback by Easy-to-Difficult Curriculum [42.36892453363961]
  本研究では,大規模言語モデル(LLM)を学習し,現実のシナリオで複雑なツールを使用するための新しいツール学習フレームワークを提案する。 まず,多段階の学習手法を提案する。 次に、イントロスペクティブフィードバックからの反復自己インストラクションを提案し、データセットを動的に構築し、複雑なツールを使用する能力を改善する。
  論文  参考訳（メタデータ） (2023-08-27T07:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。