論文の概要: GEAR: Augmenting Language Models with Generalizable and Efficient Tool Resolution

• arxiv url: http://arxiv.org/abs/2307.08775v2
• Date: Wed, 31 Jan 2024 04:11:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 17:50:28.637463
• Title: GEAR: Augmenting Language Models with Generalizable and Efficient Tool Resolution
• Title（参考訳）: GEAR: 汎用的で効率的なツール解決による言語モデルの拡張
• Authors: Yining Lu and Haoping Yu and Daniel Khashabi
• Abstract要約: 外部ツールを使用するために大きな言語モデル(LLM)を拡張することで、さまざまなタスクにおけるパフォーマンスが向上する。 本稿では,ツールの使用を必要とする様々なタスクに一般化可能なクエリツールグラウンドアルゴリズムであるGEARを紹介する。
• 参考スコア（独自算出の注目度）: 18.633918831942434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Augmenting large language models (LLM) to use external tools enhances their performance across a variety of tasks. However, prior works over-rely on task-specific demonstration of tool use that limits their generalizability and computational cost due to making many calls to large-scale LLMs. We introduce GEAR, a computationally efficient query-tool grounding algorithm that is generalizable to various tasks that require tool use while not relying on task-specific demonstrations. GEAR achieves better efficiency by delegating tool grounding and execution to small language models (SLM) and LLM, respectively; while leveraging semantic and pattern-based evaluation at both question and answer levels for generalizable tool grounding. We evaluate GEAR on 14 datasets across 6 downstream tasks, demonstrating its strong generalizability to novel tasks, tools and different SLMs. Despite offering more efficiency, GEAR achieves higher precision in tool grounding compared to prior strategies using LLM prompting, thus improving downstream accuracy at a reduced computational cost. For example, we demonstrate that GEAR-augmented GPT-J and GPT-3 outperform counterpart tool-augmented baselines because of better tool use.
• Abstract（参考訳）: 外部ツールを使用するための大型言語モデル(llm)の拡張は、さまざまなタスクにおけるパフォーマンスを向上させる。 しかしながら、タスク固有のツール使用のデモでは、大規模LLMへのコールが多すぎるため、その一般化性と計算コストが制限される。 GEARは,タスク固有の実演に頼らず,ツールの使用を必要とする様々なタスクに一般化可能な,計算効率のよいクエリツールグラウンドアルゴリズムである。 GEARは、ツール接地と実行をそれぞれ小言語モデル(SLM)とLLMに委譲し、質問レベルと回答レベルのセマンティックとパターンベースの評価を活用して、一般化可能なツール接地を実現する。 6つのダウンストリームタスクにまたがる14のデータセット上でギアを評価し,新しいタスクやツール,slmの汎用性を示す。 効率性は高いが、GEAR は LLM プロンプトを用いた以前の戦略に比べてツール接地精度が向上し、計算コストの削減により下流の精度が向上する。 例えば,gear-augmented gpt-j と gpt-3 がツール-augmented ベースラインよりも優れたツール使用率を示す。

関連論文リスト

• PTR: Precision-Driven Tool Recommendation for Large Language Models [43.53494041932615]
  大規模言語モデル(LLM)のためのPTR(Precision-driven Tool Recommendation)アプローチを提案する。 PTRは、過去のツールバンドルの利用を利用して、初期的かつ簡潔なツールセットをキャプチャし、ツールマッチングを実行することで、ツールセットを動的に調整する。 LLMのツールレコメンデーションの有効性を評価するために,新しいデータセットRecToolsとメトリクスTRACCを提案する。
  論文  参考訳（メタデータ） (2024-11-14T17:33:36Z)
• MetaTool: Facilitating Large Language Models to Master Tools with Meta-task Augmentation [25.360660222418183]
  再利用可能なツールセットにまたがって一般化するために設計された,新しいツール学習手法であるMetaToolを紹介する。 メタタスクデータをタスク指向トレーニングに組み込むことで,オープンソースの大規模言語モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-15T10:15:41Z)
• WTU-EVAL: A Whether-or-Not Tool Usage Evaluation Benchmark for Large Language Models [31.742620965039517]
  大きな言語モデル(LLM)は、NLPタスクに優れていますが、その能力を拡張するための外部ツールが必要です。 11個のデータセットでLCMを評価するためにW whether-or-notツール利用評価ベンチマーク(WTU-Eval)を導入する。 WTU-Eval 上での8つの LLM の結果は、LLM が一般的なデータセットでツールの使用方法を決定するのにしばしば苦労していることを示している。 微調整のLlama2-7Bは14%の性能向上と16.8%の誤ったツール使用率の低下をもたらす。
  論文  参考訳（メタデータ） (2024-07-02T12:07:38Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
  言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。 LMが使用する外部プログラムとしてツールを統一的に定義する。 各種ツールの効率を実証的に検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:20:07Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
  UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。 現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。 UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
  論文  参考訳（メタデータ） (2024-01-30T16:52:56Z)
• GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction [41.36474802204914]
  GPT4Tools は LLaMA や OPT などのオープンソース LLM のツール使用を可能にするための自己インストラクトに基づいている。 先進的な教師に様々なマルチモーダルな文脈で指示追従データセットを生成する。
  論文  参考訳（メタデータ） (2023-05-30T05:27:21Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)
• ART: Automatic multi-step reasoning and tool-use for large language models [105.57550426609396]
  大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。 各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。 プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
  論文  参考訳（メタデータ） (2023-03-16T01:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。