論文の概要: Assessing the Emergent Symbolic Reasoning Abilities of Llama Large Language Models

• arxiv url: http://arxiv.org/abs/2406.06588v1
• Date: Wed, 5 Jun 2024 12:22:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 21:14:20.703577
• Title: Assessing the Emergent Symbolic Reasoning Abilities of Llama Large Language Models
• Title（参考訳）: Llama大言語モデルの創発的シンボリック推論能力の評価
• Authors: Flavio Petruzzellis, Alberto Testolin, Alessandro Sperduti,
• Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクにおいて印象的なパフォーマンスを達成する。 LLMは数学的推論ベンチマークにおいて創発的な能力を示す。 我々は,Llama 2ファミリーの3つのモデルについて,異なるシンボリック推論タスクで評価した。
• 参考スコア（独自算出の注目度）: 47.129504708849446
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) achieve impressive performance in a wide range of tasks, even if they are often trained with the only objective of chatting fluently with users. Among other skills, LLMs show emergent abilities in mathematical reasoning benchmarks, which can be elicited with appropriate prompting methods. In this work, we systematically investigate the capabilities and limitations of popular open-source LLMs on different symbolic reasoning tasks. We evaluate three models of the Llama 2 family on two datasets that require solving mathematical formulas of varying degrees of difficulty. We test a generalist LLM (Llama 2 Chat) as well as two fine-tuned versions of Llama 2 (MAmmoTH and MetaMath) specifically designed to tackle mathematical problems. We observe that both increasing the scale of the model and fine-tuning it on relevant tasks lead to significant performance gains. Furthermore, using fine-grained evaluation measures, we find that such performance gains are mostly observed with mathematical formulas of low complexity, which nevertheless often remain challenging even for the largest fine-tuned models.
• Abstract（参考訳）: 大規模言語モデル (LLM) は,ユーザとのチャットの唯一の目的としてトレーニングされることの多い場合でも,幅広いタスクにおいて,優れたパフォーマンスを実現している。 その他のスキルの中で、LLMは数学的推論ベンチマークにおいて創発的な能力を示し、適切なプロンプト法によって引き起こすことができる。 本研究では,様々なシンボリック推論タスクにおいて,人気のあるオープンソースLLMの能力と限界を体系的に検討する。 Llama 2 ファミリーの3つのモデルについて,難易度の異なる数式を解く必要がある2つのデータセットで評価した。 我々はLLM(Llama 2 Chat)とLlama 2(MAmmoTHとMetaMath)の2つの微調整版を数学的問題に対処するためにテストした。 モデルのサイズを拡大し、関連するタスクを微調整することで、パフォーマンスが大幅に向上するのを観察する。 さらに, 細粒度評価法を用いて, 計算精度の低い数式では, 計算精度が向上する傾向がみられた。

関連論文リスト

• ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
  エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。 ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。 2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。 GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
  論文  参考訳（メタデータ） (2024-10-06T14:59:09Z)
• Solving for X and Beyond: Can Large Language Models Solve Complex Math Problems with More-Than-Two Unknowns? [57.80779199039929]
  大規模言語モデル (LLM) は数学問題の解法において顕著な性能を示した。 本稿では,複数の未知の問題を組み込むことで,これらの制約に対処する新しいベンチマークであるBeyondXを紹介する。 BeyondXに関する実証的な研究によると、数学のタスクに特化して調整された既存のLLMの性能は、未知の数が増えるにつれて著しく低下する。
  論文  参考訳（メタデータ） (2024-07-06T17:01:04Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• Investigating Symbolic Capabilities of Large Language Models [16.88906206735967]
  本研究の目的は,一連の記号的タスクにおいて,LLM(Large Language Models)を厳格に評価することにより,ギャップを埋めることである。 我々の分析では、エンタープライズグレードの4つのモデルとオープンソースの4つのモデルを含む8つのLCMを含み、そのうち3つは数学的なタスクで事前訓練されている。 その結果,記号数で表される複雑性が増大するにつれて,LLMの文脈自由かつ文脈依存的な記号処理における性能が著しく低下することが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-21T21:24:34Z)
• Sign of the Times: Evaluating the use of Large Language Models for Idiomaticity Detection [2.2724928083094196]
  本研究は,SemEval 2022 Task 2a, FLUTE, MAGPIEの3つの慣用性データセット上でのLLMの性能について考察する。 これらのモデルが競合する性能を与える一方で、最大のスケールであっても、微調整されたタスク固有モデルの結果と一致しないことがわかった。
  論文  参考訳（メタデータ） (2024-05-15T11:55:14Z)
• Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
  算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。 混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
  論文  参考訳（メタデータ） (2024-01-17T18:13:07Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。