論文の概要: ART: Automatic multi-step reasoning and tool-use for large language models

• arxiv url: http://arxiv.org/abs/2303.09014v1
• Date: Thu, 16 Mar 2023 01:04:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 17:23:40.696045
• Title: ART: Automatic multi-step reasoning and tool-use for large language models
• Title（参考訳）: ART:大規模言語モデルの自動多段階推論とツール利用
• Authors: Bhargavi Paranjape, Scott Lundberg, Sameer Singh, Hannaneh Hajishirzi, Luke Zettlemoyer, Marco Tulio Ribeiro
• Abstract要約: 大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。 各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。 プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
• 参考スコア（独自算出の注目度）: 105.57550426609396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can perform complex reasoning in few- and zero-shot settings by generating intermediate chain of thought (CoT) reasoning steps. Further, each reasoning step can rely on external tools to support computation beyond the core LLM capabilities (e.g. search/running code). Prior work on CoT prompting and tool use typically requires hand-crafting task-specific demonstrations and carefully scripted interleaving of model generations with tool use. We introduce Automatic Reasoning and Tool-use (ART), a framework that uses frozen LLMs to automatically generate intermediate reasoning steps as a program. Given a new task to solve, ART selects demonstrations of multi-step reasoning and tool use from a task library. At test time, ART seamlessly pauses generation whenever external tools are called, and integrates their output before resuming generation. ART achieves a substantial improvement over few-shot prompting and automatic CoT on unseen tasks in the BigBench and MMLU benchmarks, and matches performance of hand-crafted CoT prompts on a majority of these tasks. ART is also extensible, and makes it easy for humans to improve performance by correcting errors in task-specific programs or incorporating new tools, which we demonstrate by drastically improving performance on select tasks with minimal human intervention.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、思考の中間連鎖(CoT)推論ステップを生成することにより、無数およびゼロショット設定で複雑な推論を行うことができる。 さらに、各推論ステップは、コアLLM機能(例えば、検索/実行コード)を超えて計算をサポートする外部ツールに依存することができる。 CoTのプロンプトとツールの使用には、通常、手作りのタスク固有のデモと、ツール使用によるモデル世代間を注意深くスクリプト化する必要がある。 プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。 新しいタスクが与えられた後、ARTはタスクライブラリからマルチステップ推論とツール使用のデモを選択する。 テスト時にartは、外部ツールが呼び出されるたびに生成をシームレスに停止し、生成を再開する前に出力を統合する。 ARTは、BigBenchとMMLUベンチマークの未確認タスクに対して、数発のプロンプトと自動CoTよりも大幅に改善され、手作りのCoTプロンプトのパフォーマンスはこれらのタスクの大部分で一致している。 ARTも拡張可能であり、タスク固有のプログラムのエラーを修正したり、新しいツールを導入することで、人間の介入を最小限に抑えて、特定のタスクのパフォーマンスを大幅に向上させることで、人間がパフォーマンスを向上させることができる。

関連論文リスト

• Toolformer: Language Models Can Teach Themselves to Use Tools [62.04867424598204]
  言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。 LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。 Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
  論文  参考訳（メタデータ） (2023-02-09T16:49:57Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• Prompt Tuning with Soft Context Sharing for Vision-Language Models [56.628198024857056]
  本稿では,複数目的の複数ショットタスクに対して,事前学習した視覚言語モデルを同時に微調整する手法を提案する。 実験では、SoftCPTは、代表的なシングルタスクプロンプトチューニング手法であるCoOpを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-08-29T10:19:10Z)
• DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
  DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。 実験の結果,様々な設定や設定において優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-09T17:57:46Z)
• TALM: Tool Augmented Language Models [28.483609366116525]
  トランスフォーマーベース言語モデル(LM)は、様々なタスクにまたがるスケールによるパフォーマンス向上を示す。 本稿では,ツール拡張言語モデル(Tool Augmented Language Models,TALM)を提案する。 TALMは知識量の多いQAタスクと単純なツールによる推論指向の数学タスクの両方に強い性能を示す。
  論文  参考訳（メタデータ） (2022-05-24T17:58:13Z)
• AutoMTL: A Programming Framework for Automated Multi-Task Learning [23.368860215515323]
  マルチタスク学習(MTL)は、一連のタスクを共同で学習する。 MTLの普及を妨げている大きな障壁は、コンパクトなマルチタスクモデルを開発するための体系的なサポートの欠如である。 MTLモデル開発を自動化する最初のプログラミングフレームワークであるAutoMTLを開発した。
  論文  参考訳（メタデータ） (2021-10-25T16:13:39Z)
• XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation [80.18830380517753]
  我々は新しいタスク非依存蒸留フレームワーク XtremeDistilTransformers を開発した。 本研究は, 蒸留における複数のソースタスク, 拡張資源, モデルアーキテクチャの伝達可能性について検討する。
  論文  参考訳（メタデータ） (2021-06-08T17:49:33Z)
• Massive Choice, Ample Tasks (MaChAmp): A Toolkit for Multi-task Learning in NLP [24.981991538150584]
  MaChAmpは、マルチタスク設定におけるコンテキスト化された埋め込みを簡単に微調整するためのツールキットである。 MaChAmpの利点は、フレキシブルな設定オプションと、統一ツールキットで様々な自然言語処理タスクをサポートすることである。
  論文  参考訳（メタデータ） (2020-05-29T16:54:50Z)
• A Unified Object Motion and Affinity Model for Online Multi-Object Tracking [127.5229859255719]
  オブジェクトの動きと親和性モデルを単一のネットワークに統一する新しいMOTフレームワークUMAを提案する。 UMAは、単一物体追跡とメートル法学習をマルチタスク学習により統合された三重項ネットワークに統合する。 我々は,タスク認識機能学習を促進するために,タスク固有のアテンションモジュールを装備する。
  論文  参考訳（メタデータ） (2020-03-25T09:36:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。