論文の概要: CREATOR: Disentangling Abstract and Concrete Reasonings of Large Language Models through Tool Creation

• arxiv url: http://arxiv.org/abs/2305.14318v1
• Date: Tue, 23 May 2023 17:51:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 13:48:02.500509
• Title: CREATOR: Disentangling Abstract and Concrete Reasonings of Large Language Models through Tool Creation
• Title（参考訳）: CREATOR:ツール作成による大規模言語モデルの抽象的・具体的な推論
• Authors: Cheng Qian, Chi Han, Yi R. Fung, Yujia Qin, Zhiyuan Liu, Heng Ji
• Abstract要約: 大きな言語モデル(LLM)は、様々なタスクのためのツールとして外部APIを活用する上で大きな進歩を見せている。 我々は、LCMがドキュメンテーションやコード実現を通じて独自のツールを作れるようにするためのフレームワークCREATORを提案する。 我々は、MATHとTabMWPの2つの確立されたベンチマークでCREATORを評価した。
• 参考スコア（独自算出の注目度）: 59.25987075004915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated significant progress in utilizing external APIs as tools for various tasks. However, their tool-using ability is limited by the availability of suitable APIs and the instability of implicit reasoning, particularly when simultaneously engaging in reasoning about plans and actual calculations. To address these limitations, we propose CREATOR, a novel framework that empowers LLMs to create their own tools through documentation and code realization. CREATOR disentangles the LLM's ability into two distinct phases: abstract tool creation and concrete decision execution, which results in improved LLM performance. We evaluate CREATOR on two established benchmarks: MATH, which consists of challenging math competition problems, and TabMWP, which includes diverse tabular contents for problem-solving. Remarkably, CREATOR significantly outperforms existing chain-of-thought (CoT), program-of-thought (PoT), and tool-using baselines on these two benchmarks. Additionally, we present a new dataset, Creation Challenge, comprising 2K diverse questions, to highlight the necessity and benefits of LLMs' tool creation ability in effectively addressing these problems. Furthermore, our research reveals that leveraging LLMs as tool creators facilitates knowledge transfer, and LLMs exhibit varying levels of tool creation abilities, enabling them to flexibly tackle diverse situations. Our study represents a promising avenue for maximizing the potential of LLMs and advancing toward truly intelligent and adaptable AI systems.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、様々なタスクのためのツールとして外部APIを活用する上で大きな進歩を見せている。 しかし、それらのツールの使用能力は、適切なapiが利用可能であること、暗黙の推論が不安定であること、特に計画や実際の計算について推論するときに制限される。 これらの制限に対処するため、私たちは、LCMがドキュメントやコード実現を通じて独自のツールを作成できるようにする新しいフレームワークCREATORを提案します。 CREATORはLLMの能力を2つの異なるフェーズ(抽象ツール作成と具体的な決定実行)に切り離し、LLMのパフォーマンスが向上する。 2つの確立したベンチマークでクリエーターを評価する:数学は数学の競争に挑戦する問題から成り、tabmwpは問題解決のための様々な表的なコンテンツを含んでいる。 注目すべきは、CREATORが既存のチェーン・オブ・シークレット(CoT)、プログラム・オブ・シークレット(PoT)、ツール使用ベースラインを2つのベンチマークで大幅に上回っていることだ。 さらに,これらの課題を効果的に解決するためのllmsのツール作成能力の必要性とメリットを強調するために,2kの多様な質問からなる新しいデータセット「create challenge」を提案する。 さらに,LSMをツール作成者として活用することで,知識伝達が促進され,LSMは様々なレベルのツール作成能力を示し,多様な状況に柔軟に取り組むことができる。 我々の研究は、LLMの可能性を最大化し、真にインテリジェントで適応可能なAIシステムに向けて進むための、有望な道のりを示す。

関連論文リスト

• LLM With Tools: A Survey [0.0]
  本稿では,LCMに外部ツールの使用を教える領域における方法論,問題点,展開について述べる。 ユーザ命令を実行可能なプランにマッピングする一連の関数によってガイドされるツール統合のための標準化パラダイムを導入する。 調査の結果,ツール起動タイミング,選択精度,堅牢な推論プロセスの必要性など,さまざまな課題が明らかになった。
  論文  参考訳（メタデータ） (2024-09-24T14:08:11Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• ToolNet: Connecting Large Language Models with Massive Tools via Tool Graph [43.95759808077083]
  既存のテキスト内学習アプローチは、ツールを単純なテキスト記述のリストにフォーマットし、大きな言語モデルに入力する。 本稿では,トークン消費を適度に増加させ,ツールの数を数千にスケールアップするプラグイン・アンド・プレイ・フレームワークであるToolNetを提案する。
  論文  参考訳（メタデータ） (2024-02-29T02:04:00Z)
• From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs [62.496139001509114]
  大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。 このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。 ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2024-02-28T08:42:23Z)
• Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models [26.28459880766842]
  意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。 具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。 提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
  論文  参考訳（メタデータ） (2024-02-26T16:11:03Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。