論文の概要: Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2410.18890v1
• Date: Thu, 24 Oct 2024 16:27:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 16:43:40.224159
• Title: Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks
• Title（参考訳）: 推論タスクを呼応する小規模大規模言語モデルの改良
• Authors: Graziano A. Manduzio, Federico A. Galatolo, Mario G. C. A. Cimino, Enzo Pasquale Scilingo, Lorenzo Cominelli,
• Abstract要約: 本研究では,関数呼び出しにおいて,より小さな言語モデルを訓練するための新しいフレームワークを提案する。 特定の論理的および数学的推論タスクに焦点を当てている。 このアプローチは,関数呼び出しによるこれらのタスクの小型モデルの性能向上を目的としている。
• 参考スコア（独自算出の注目度）: 0.8425561594225592
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) have demonstrated exceptional capabilities in natural language understanding and generation. While these models excel in general complex reasoning tasks, they still face challenges in mathematical problem-solving and logical reasoning. To address these limitations, researchers have explored function calling abilities, allowing LLMs to execute provided functions and utilize their outputs for task completion. However, concentrating on specific tasks can be very inefficient for large-scale LLMs to be used, because of the expensive cost of training and inference stages they need in terms of computational resources. This study introduces a novel framework for training smaller language models in function calling, focusing on specific logical and mathematical reasoning tasks. The approach aims to improve performances of small-scale models for these tasks using function calling, ensuring a high level of accuracy. Our framework employs an agent that, given a problem and a set of callable functions, queries the LLM by injecting a description and examples of the usable functions into the prompt and managing their calls in a step-by-step reasoning chain. This process is used to create a dataset of correct and incorrect reasoning chain chat completions from a large-scale LLM. This dataset is used to train a smaller LLM using Reinforcement Learning from Human Feedback (RLHF), specifically employing the Direct Preference Optimization (DPO) technique. Experimental results demonstrate how the proposed approach balances the trade-off between model size and performance, improving the ability of function calling for reasoning tasks, in smaller models.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩は、自然言語の理解と生成において例外的な能力を示している。 これらのモデルは、一般的な複雑な推論タスクにおいて優れているが、数学的問題解決と論理的推論の課題に直面している。 これらの制限に対処するため、研究者は関数呼び出し能力を探求し、LLMが与えられた関数を実行し、その出力をタスク完了に利用できるようにした。 しかしながら、特定のタスクに集中させることは、計算資源の面で必要なトレーニングや推論のコストがかかるため、大規模LLMを使用するには極めて非効率である。 本研究では,特定の論理的および数学的推論タスクに焦点をあて,関数呼び出しにおいてより小さな言語モデルを訓練するための新しいフレームワークを提案する。 提案手法は,関数呼び出しによるタスクの小型モデルの性能向上を目標とし,高い精度を保証する。 我々のフレームワークでは,問題と呼び出し可能な関数のセットを与えられたエージェントを用いて,使用可能な関数の記述と例をプロンプトに注入し,ステップバイステップの推論チェーンで呼び出しを管理する。 このプロセスは、大規模LLMから正しい、誤った推論チェーンのチャット補完のデータセットを作成するために使用される。 このデータセットは、Reinforcement Learning from Human Feedback (RLHF)を使用して、より小さなLLMをトレーニングするために使用される。 実験により,提案手法がモデルサイズと性能のトレードオフのバランスを保ち,より小型のモデルにおいて,推論タスクに対する関数呼び出し能力を向上させることを示す。

関連論文リスト

• Rational Metareasoning for Large Language Models [5.5539136805232205]
  大きな言語モデル(LLM)を使用するためのコアテクニックとして,推論への関与を促す声が上がっている。 本研究は,認知科学で用いられるメタレゾニングの計算モデルに基づく新しいアプローチを導入する。 我々は不必要な推論を罰することで計算の価値を組み込む報酬関数を開発する。
  論文  参考訳（メタデータ） (2024-10-07T23:48:52Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
  オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。 現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
  論文  参考訳（メタデータ） (2024-03-29T03:48:12Z)
• AXOLOTL: Fairness through Assisted Self-Debiasing of Large Language Model Outputs [20.772266479533776]
  AXOLOTLはタスクやモデル間で不可知的に動作する新しい後処理フレームワークである。 バイアスを識別し、解像度を提案し、モデルにアウトプットを自己バイアスさせる。 このアプローチは計算コストを最小化し、モデル性能を保存する。
  論文  参考訳（メタデータ） (2024-03-01T00:02:37Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• Sci-CoT: Leveraging Large Language Models for Enhanced Knowledge Distillation in Small Models for Scientific QA [5.117094291273979]
  大規模言語モデル(LLM)は、幅広い下流タスクで優れたパフォーマンスを示している。 本稿では2段階のフレームワークであるSci-CoTを提案する。 我々の8000万のパラメータモデルは、いくつかのショット設定の下でARC-EasyデータセットにおけるBLOOM-176Bの性能を上回ることができる。
  論文  参考訳（メタデータ） (2023-08-09T03:18:07Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。