論文の概要: SciAgent: Tool-augmented Language Models for Scientific Reasoning

• arxiv url: http://arxiv.org/abs/2402.11451v2
• Date: Wed, 21 Feb 2024 03:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 12:10:40.878488
• Title: SciAgent: Tool-augmented Language Models for Scientific Reasoning
• Title（参考訳）: SciAgent: 科学的推論のためのツール強化言語モデル
• Authors: Yubo Ma, Zhibin Gou, Junheng Hao, Ruochen Xu, Shuohang Wang, Liangming Pan, Yujiu Yang, Yixin Cao, Aixin Sun, Hany Awadalla and Weizhu Chen
• Abstract要約: ツール強化科学推論という新しいタスク設定を導入する。 この設定は、スケーラブルなツールセットでLarge Language Modelsを補完する。 約3万のサンプルと約6,000のツールを含むツール拡張トレーニングコーパスであるMathFuncを構築した。 MathFunc上に構築したSciAgentは,科学的な問題解決のためのツールを検索し,理解し,必要に応じて利用する。
• 参考スコア（独自算出の注目度）: 129.51442677710452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific reasoning poses an excessive challenge for even the most advanced Large Language Models (LLMs). To make this task more practical and solvable for LLMs, we introduce a new task setting named tool-augmented scientific reasoning. This setting supplements LLMs with scalable toolsets, and shifts the focus from pursuing an omniscient problem solver to a proficient tool-user. To facilitate the research of such setting, we construct a tool-augmented training corpus named MathFunc which encompasses over 30,000 samples and roughly 6,000 tools. Building on MathFunc, we develop SciAgent to retrieve, understand and, if necessary, use tools for scientific problem solving. Additionally, we craft a benchmark, SciToolBench, spanning five scientific domains to evaluate LLMs' abilities with tool assistance. Extensive experiments on SciToolBench confirm the effectiveness of SciAgent. Notably, SciAgent-Mistral-7B surpasses other LLMs with the same size by more than 13% in absolute accuracy. Furthermore, SciAgent-DeepMath-7B shows much superior performance than ChatGPT.
• Abstract（参考訳）: 科学的推論は、最も先進的な大規模言語モデル(LLM)でさえも過度に挑戦する。 このタスクをより実用的で解き易くするために,ツール強化科学推論という新しいタスク設定を導入する。 この設定は、スケーラブルなツールセットでLLMを補完し、全能的な問題解決者から熟練したツールユーザへと焦点を移す。 そこで我々は,3万以上のサンプルと約6,000のツールを含むツール強化学習コーパスMathFuncを構築した。 MathFunc上に構築したSciAgentは,科学的な問題解決のためのツールを検索し,理解し,必要に応じて利用する。 さらに、私たちは5つの科学的領域にまたがるベンチマークSciToolBenchを作成し、ツールアシストによるLSMの能力を評価する。 SciToolBenchの大規模な実験により、SciAgentの有効性が確認された。 特に、SciAgent-Mistral-7Bは、同じ大きさの他のLLMを13%以上、絶対精度で上回る。 さらに、SciAgent-DeepMath-7BはChatGPTよりも優れた性能を示している。

関連論文リスト

• StepTool: A Step-grained Reinforcement Learning Framework for Tool Learning in LLMs [44.906714156993694]
  我々は,大規模言語モデルにおけるツール学習を改善するための,段階的な強化学習フレームワークであるStepToolを紹介する。 StepToolは、既存のメソッドを多段階のツールベースのタスクで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-10-10T09:23:26Z)
• Efficient and Scalable Estimation of Tool Representations in Vector Space [34.767193045989515]
  ツール検索のための合成データを生成するためのフレームワークと,小型エンコーダモデルを用いた効率的なデータ駆動型ツール検索戦略を提案する。 ToolBankは、実際のユーザ利用を反映した、新しいツール検索データセットです。 これらの新しい方法により、ToolBenchデータセット上のRecall@Kで最大27.28、ToolBank上のRecall@Kで30.5の改善を実現しています。
  論文  参考訳（メタデータ） (2024-09-02T19:39:24Z)
• What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
  言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。 LMが使用する外部プログラムとしてツールを統一的に定義する。 各種ツールの効率を実証的に検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:20:07Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
  EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。 トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2024-01-11T15:45:11Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [82.24774504584066]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。