論文の概要: Efficient Tool Use with Chain-of-Abstraction Reasoning

• arxiv url: http://arxiv.org/abs/2401.17464v2
• Date: Mon, 26 Feb 2024 20:26:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 21:19:51.594043
• Title: Efficient Tool Use with Chain-of-Abstraction Reasoning
• Title（参考訳）: Chain-of-Abstraction Reasoningを用いた効率的なツールの開発
• Authors: Silin Gao, Jane Dwivedi-Yu, Ping Yu, Xiaoqing Ellen Tan, Ramakanth Pasunuru, Olga Golovneva, Koustuv Sinha, Asli Celikyilmaz, Antoine Bosselut, Tianlu Wang
• Abstract要約: 大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 65.18096363216574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To achieve faithful reasoning that aligns with human expectations, large language models (LLMs) need to ground their reasoning to real-world knowledge (e.g., web facts, math and physical rules). Tools help LLMs access this external knowledge, but there remains challenges for fine-tuning LLM agents (e.g., Toolformer) to invoke tools in multi-step reasoning problems, where inter-connected tool calls require holistic and efficient tool usage planning. In this work, we propose a new method for LLMs to better leverage tools in multi-step reasoning. Our method, Chain-of-Abstraction (CoA), trains LLMs to first decode reasoning chains with abstract placeholders, and then call domain tools to reify each reasoning chain by filling in specific knowledge. This planning with abstract chains enables LLMs to learn more general reasoning strategies, which are robust to shifts of domain knowledge (e.g., math results) relevant to different reasoning questions. It also allows LLMs to perform decoding and calling of external tools in parallel, which avoids the inference delay caused by waiting for tool responses. In mathematical reasoning and Wiki QA domains, we show that our method consistently outperforms previous chain-of-thought and tool-augmented baselines on both in-distribution and out-of-distribution test sets, with an average ~6% absolute QA accuracy improvement. LLM agents trained with our method also show more efficient tool use, with inference speed being on average ~1.4x faster than baseline tool-augmented LLMs.
• Abstract（参考訳）: 人間の期待に沿う忠実な推論を達成するためには、大規模言語モデル(LLM)は現実世界の知識(例えば、Webの事実、数学、物理ルール)に対する推論の基礎となる必要がある。 ツールは、この外部知識にアクセスするのに役立ちますが、マルチステップ推論問題においてツールを呼び出すためのllmエージェント(例えば、ツールフォーマー)の微調整には、依然として課題があります。 本研究では,多段階推論におけるツールの活用を向上するLLMの新しい手法を提案する。 提案手法であるChain-of-Abstraction(CoA)では,LLMを学習し,まず抽象的なプレースホルダーで推論チェーンをデコードし,ドメインツールを呼び出し,特定の知識を充足して各推論チェーンを再構築する。 この抽象チェーンによる計画により、llmはより一般的な推論戦略を学ぶことができ、異なる推論問題に関連するドメイン知識(例えば数学の結果)のシフトに頑健である。 また、LCMは外部ツールのデコードと呼び出しを並列に行うことができ、ツールの応答を待つことで引き起こされる推論遅延を回避することができる。 数学的推論とWiki QA領域において、我々の手法は、平均6%の絶対QA精度で、分布内および分布外の両方のベースラインを常に上回ることを示す。 また,本手法で訓練したLLMエージェントは,標準ツール拡張LLMよりも平均1.4倍高速な推論速度で,より効率的なツール利用を示す。

関連論文リスト

• Achieving Tool Calling Functionality in LLMs Using Only Prompt Engineering Without Fine-Tuning [0.0]
  現在、ローカルにデプロイされたオープンソースの大規模言語モデル(LLM)と、いくつかの商用モデルインターフェースは、安定したツール呼び出し機能をサポートしていない。 本稿では, プロンプトエンジニアリングといくつかの巧妙なコード設計のみを用いて, LLMが安定したツール呼び出し機能を実現する方法を提案する。
  論文  参考訳（メタデータ） (2024-07-06T08:29:12Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models [26.28459880766842]
  意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。 具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。 提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
  論文  参考訳（メタデータ） (2024-02-26T16:11:03Z)
• From Good to Great: Improving Math Reasoning with Tool-Augmented Interleaf Prompting [45.77084082197953]
  IMP-TIP: Tool-augmented Interleaf Promptingによる数学推論の改善。 IMP-TIP: Tool-augmented Interleaf PromptingによるMath Reasoningの改善について紹介する。
  論文  参考訳（メタデータ） (2023-12-18T06:31:23Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。