論文の概要: Meta-Reasoning Improves Tool Use in Large Language Models

• arxiv url: http://arxiv.org/abs/2411.04535v2
• Date: Sat, 08 Feb 2025 18:26:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:27:18.079137
• Title: Meta-Reasoning Improves Tool Use in Large Language Models
• Title（参考訳）: メタ推論は、大規模言語モデルにおけるツールの使用を改善する
• Authors: Lisa Alazraki, Marek Rei,
• Abstract要約: 本稿では,タスクを最初に理由付け,候補ツールを出力する2段階システムであるTECTON(Meta-reasONing)によるツール選択を提案する。 TECTONは、様々な数学推論データセットにおいて、分布内と分布外の両方において、実質的なゲインをもたらす。
• 参考スコア（独自算出の注目度）: 10.193264105560864
• License:
• Abstract: External tools help large language models succeed at tasks where they would otherwise typically fail. In existing frameworks, choosing tools at test time relies on naive greedy decoding, regardless of whether the model has been fine-tuned on tool-annotated data or prompted with in-context examples. In contrast, we find that gathering and choosing among a suitable set of candidate tools has greater potential to lead to an optimal selection. We present Tool selECTion via meta-reasONing (TECTON), a two-phase system that first reasons over a task and outputs candidate tools using a custom fine-tuned language modelling head. Then, with the custom head disabled, it meta-reasons (i.e., it reasons over the previous reasoning process) to make a final choice. We show that TECTON results in substantial gains--both in-distribution and out-of-distribution--on a range of math reasoning datasets.
• Abstract（参考訳）: 外部ツールは、大言語モデルが一般的に失敗するタスクで成功するのに役立つ。 既存のフレームワークでは、モデルがツールアノテートされたデータに基づいて微調整されているか、あるいはコンテキスト内の例でトリガーされているかに関わらず、テスト時にツールを選択することは、単純なグレディデコーディングに依存している。 対照的に、適切な候補ツールの集合の中から収集と選択を行うことで、最適な選択につながる可能性が高くなる。 本稿では、タスクを最初に理由づけた2段階のシステムであるメタレゾニング(TECTON)によるツール選択を行い、カスタムな微調整言語モデリングヘッドを用いて候補ツールを出力する。 そして、カスタムヘッドを無効にすると、メタレアソン(つまり、以前の推論プロセスに理由がある)が最終的な選択を行う。 我々は、TECTONが、様々な数学推論データセットにおいて、分布内および分布外の両方において、実質的な利益をもたらすことを示す。

関連論文リスト

• CITI: Enhancing Tool Utilizing Ability in Large Language Models without Sacrificing General Performance [17.723293304671877]
  コンポーネントベースツール活用能力注入法(CITI)を提案する。 異なるコンポーネントの勾配に基づく重要度スコアによると、CITIは微調整プロセスによって生じる能力衝突を軽減する。 実験結果から,本手法は様々な評価指標において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-09-20T04:06:28Z)
• Tools Fail: Detecting Silent Errors in Faulty Tools [27.822981272044043]
  我々は、モデルが「サイレント」ツールを検出する能力を調べるためのツールのためのフレームワークを紹介します。 制御電卓設定と具体化エージェント計画の両方で有望な結果が得られるような早期の故障復旧手法を提案する。
  論文  参考訳（メタデータ） (2024-06-27T14:52:34Z)
• Chain of Tools: Large Language Model is an Automatic Multi-tool Learner [54.992464510992605]
  Automatic Tool Chain(ATC)は、大規模言語モデル(LLM)がマルチツールユーザとして機能することを可能にするフレームワークである。 次に,ツールの範囲を拡大するために,ブラックボックス探索法を提案する。 包括的な評価のために、ToolFlowという挑戦的なベンチマークを構築しました。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models [26.28459880766842]
  意思決定・汎用ツール・ユース・フレームワーク(DEER)を提案する。 具体的には、まず、自動生成パイプラインを介して、複数の決定ブランチを持つツール使用サンプルを構築します。 提案するDEERは, 各種データセットのベースラインよりも効果的で, 著しく優れる。
  論文  参考訳（メタデータ） (2024-02-26T16:11:03Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use [82.24774504584066]
  大規模言語モデル(LLM)は、その印象的な自然言語処理(NLP)能力のために大きな注目を集めている。 このベンチマークは、LLMがツールの使用意識を持ち、ツールを正しく選択できるかどうかを評価するためのものだ。 8つの人気のあるLCMを巻き込んだ実験を行い、その大半は依然として効果的にツールを選択するのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2023-10-04T19:39:26Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models [32.95155349925248]
  本稿では,外部観測から推論プロセスを取り除き,トークン消費量を大幅に削減するモジュラーパラダイムReWOOを提案する。 マルチステップ推論ベンチマークであるHotpotQAにおいて,ReWOOは5倍のトークン効率と4%の精度向上を実現している。 本稿では,175B GPT3.5から7B LLaMAへの推論能力をオフロードし,真に効率的でスケーラブルなALMシステムの可能性を示す。
  論文  参考訳（メタデータ） (2023-05-23T00:16:48Z)
• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• Toolformer: Language Models Can Teach Themselves to Use Tools [62.04867424598204]
  言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。 LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。 Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
  論文  参考訳（メタデータ） (2023-02-09T16:49:57Z)
• TALM: Tool Augmented Language Models [28.483609366116525]
  トランスフォーマーベース言語モデル(LM)は、様々なタスクにまたがるスケールによるパフォーマンス向上を示す。 本稿では,ツール拡張言語モデル(Tool Augmented Language Models,TALM)を提案する。 TALMは知識量の多いQAタスクと単純なツールによる推論指向の数学タスクの両方に強い性能を示す。
  論文  参考訳（メタデータ） (2022-05-24T17:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。