論文の概要: SciAgent: Tool-augmented Language Models for Scientific Reasoning
- arxiv url: http://arxiv.org/abs/2402.11451v2
- Date: Wed, 21 Feb 2024 03:04:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 12:10:40.878488
- Title: SciAgent: Tool-augmented Language Models for Scientific Reasoning
- Title(参考訳): SciAgent: 科学的推論のためのツール強化言語モデル
- Authors: Yubo Ma, Zhibin Gou, Junheng Hao, Ruochen Xu, Shuohang Wang, Liangming
Pan, Yujiu Yang, Yixin Cao, Aixin Sun, Hany Awadalla and Weizhu Chen
- Abstract要約: ツール強化科学推論という新しいタスク設定を導入する。
この設定は、スケーラブルなツールセットでLarge Language Modelsを補完する。
約3万のサンプルと約6,000のツールを含むツール拡張トレーニングコーパスであるMathFuncを構築した。
MathFunc上に構築したSciAgentは,科学的な問題解決のためのツールを検索し,理解し,必要に応じて利用する。
- 参考スコア(独自算出の注目度): 129.51442677710452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific reasoning poses an excessive challenge for even the most advanced
Large Language Models (LLMs). To make this task more practical and solvable for
LLMs, we introduce a new task setting named tool-augmented scientific
reasoning. This setting supplements LLMs with scalable toolsets, and shifts the
focus from pursuing an omniscient problem solver to a proficient tool-user. To
facilitate the research of such setting, we construct a tool-augmented training
corpus named MathFunc which encompasses over 30,000 samples and roughly 6,000
tools. Building on MathFunc, we develop SciAgent to retrieve, understand and,
if necessary, use tools for scientific problem solving. Additionally, we craft
a benchmark, SciToolBench, spanning five scientific domains to evaluate LLMs'
abilities with tool assistance. Extensive experiments on SciToolBench confirm
the effectiveness of SciAgent. Notably, SciAgent-Mistral-7B surpasses other
LLMs with the same size by more than 13% in absolute accuracy. Furthermore,
SciAgent-DeepMath-7B shows much superior performance than ChatGPT.
- Abstract(参考訳): 科学的推論は、最も先進的な大規模言語モデル(LLM)でさえも過度に挑戦する。
このタスクをより実用的で解き易くするために,ツール強化科学推論という新しいタスク設定を導入する。
この設定は、スケーラブルなツールセットでLLMを補完し、全能的な問題解決者から熟練したツールユーザへと焦点を移す。
そこで我々は,3万以上のサンプルと約6,000のツールを含むツール強化学習コーパスMathFuncを構築した。
MathFunc上に構築したSciAgentは,科学的な問題解決のためのツールを検索し,理解し,必要に応じて利用する。
さらに、私たちは5つの科学的領域にまたがるベンチマークSciToolBenchを作成し、ツールアシストによるLSMの能力を評価する。
SciToolBenchの大規模な実験により、SciAgentの有効性が確認された。
特に、SciAgent-Mistral-7Bは、同じ大きさの他のLLMを13%以上、絶対精度で上回る。
さらに、SciAgent-DeepMath-7BはChatGPTよりも優れた性能を示している。
関連論文リスト
- What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。
LMが使用する外部プログラムとしてツールを統一的に定義する。
各種ツールの効率を実証的に検討した。
論文 参考訳(メタデータ) (2024-03-18T17:20:07Z) - LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。
試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。
STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
論文 参考訳(メタデータ) (2024-03-07T18:50:51Z) - Learning to Use Tools via Cooperative and Interactive Agents [61.662788490607475]
ツール学習は、大きな言語モデル(LLM)をエージェントとして、その能力を拡張するために外部ツールを使用する権限を与える。
既存の手法では、1つのLCMベースのエージェントを使用してツールを反復的に選択し実行し、その結果を次のアクション予測に組み込む。
本研究では,協調型対話型エージェントフレームワークであるConAgentsを提案し,ツール学習のワークフローをグラウンディング,実行,監視エージェントにモジュール化する。
論文 参考訳(メタデータ) (2024-03-05T15:08:16Z) - EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction [56.02100384015907]
EasyToolは、多種多様で長いツールドキュメントを統一的で簡潔なツール命令に変換するフレームワークである。
トークン使用量を大幅に削減し、現実のシナリオにおけるツール利用のパフォーマンスを向上させることができる。
論文 参考訳(メタデータ) (2024-01-11T15:45:11Z) - GPT4Tools: Teaching Large Language Model to Use Tools via
Self-instruction [41.36474802204914]
GPT4Tools は LLaMA や OPT などのオープンソース LLM のツール使用を可能にするための自己インストラクトに基づいている。
先進的な教師に様々なマルチモーダルな文脈で指示追従データセットを生成する。
論文 参考訳(メタデータ) (2023-05-30T05:27:21Z) - CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning
of Large Language Models [78.65241926912663]
大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。
我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。
我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
論文 参考訳(メタデータ) (2023-05-23T17:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。