論文の概要: Metacognitive Capabilities of LLMs: An Exploration in Mathematical Problem Solving

• arxiv url: http://arxiv.org/abs/2405.12205v1
• Date: Mon, 20 May 2024 17:45:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 12:35:30.391758
• Title: Metacognitive Capabilities of LLMs: An Exploration in Mathematical Problem Solving
• Title（参考訳）: LLMのメタ認知能力:数学的問題解決における探索
• Authors: Aniket Didolkar, Anirudh Goyal, Nan Rosemary Ke, Siyuan Guo, Michal Valko, Timothy Lillicrap, Danilo Rezende, Yoshua Bengio, Michael Mozer, Sanjeev Arora,
• Abstract要約: そこで我々は,強力なLLMを付与し,有能なスキルラベルを数学の質問に割り当てるための,プロンプト誘導型対話手法を開発した。 次に、セマンティッククラスタリングを行い、スキルラベルの粗いファミリーを取得する。 これらの粗いスキルラベルは人間に解釈可能である。
• 参考スコア（独自算出の注目度）: 86.04158840879727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Metacognitive knowledge refers to humans' intuitive knowledge of their own thinking and reasoning processes. Today's best LLMs clearly possess some reasoning processes. The paper gives evidence that they also have metacognitive knowledge, including ability to name skills and procedures to apply given a task. We explore this primarily in context of math reasoning, developing a prompt-guided interaction procedure to get a powerful LLM to assign sensible skill labels to math questions, followed by having it perform semantic clustering to obtain coarser families of skill labels. These coarse skill labels look interpretable to humans. To validate that these skill labels are meaningful and relevant to the LLM's reasoning processes we perform the following experiments. (a) We ask GPT-4 to assign skill labels to training questions in math datasets GSM8K and MATH. (b) When using an LLM to solve the test questions, we present it with the full list of skill labels and ask it to identify the skill needed. Then it is presented with randomly selected exemplar solved questions associated with that skill label. This improves accuracy on GSM8k and MATH for several strong LLMs, including code-assisted models. The methodology presented is domain-agnostic, even though this article applies it to math problems.
• Abstract（参考訳）: メタ認知的知識(Metacognitive knowledge)とは、人間の思考と推論過程に関する直感的な知識のことである。 今日の最高のLCMは明らかに推論プロセスを持っています。 本論文は,メタ認知的知識をもち,課題を与えられた場合のスキルや手順を名付ける能力を含む証拠を提示する。 そこで我々は,まずこれを数学推論の文脈で探求し,強力なLLMを用いて有能なスキルラベルを数学の質問に割り当て,続いてセマンティッククラスタリングを行い,スキルラベルの粗いファミリーを得られるようにする。 これらの粗いスキルラベルは人間に解釈可能である。 これらのスキルラベルがLCMの推論プロセスに意味があり、関連があることを検証するために、以下の実験を行う。 (a)GPT-4に、数学データセットGSM8KとMATHの学習課題にスキルラベルを割り当てるよう依頼する。 b) LLM を用いてテスト問題の解決を行う場合,スキルラベルの完全なリストを提示し,必要なスキルを特定する。 そして、そのスキルラベルに関連するランダムに選択された模範的解答を提示する。 これにより、コードアシストモデルを含むいくつかの強力なLCMのGSM8kとMATHの精度が向上する。 この記事は数学の問題に当てはまるが、提案する方法論はドメインに依存しない。

関連論文リスト

• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• Can LLMs Master Math? Investigating Large Language Models on Math Stack Exchange [25.419977967846144]
  大規模言語モデル(LLM)は、様々な自然言語タスクにおいて例外的な機能を示した。 本稿では、複雑な数学的問題解決をナビゲートする上でのLLMの限界について考察する。
  論文  参考訳（メタデータ） (2024-03-30T12:48:31Z)
• Automate Knowledge Concept Tagging on Math Questions with LLMs [48.5585921817745]
  知識概念のタグ付けは、現代の知的教育応用において重要な役割を担っている。 伝統的に、これらの注釈は教育専門家の助けを借りて手作業で行われてきた。 本稿では,Large Language Models (LLM) を用いたタグ付けタスクの自動化について検討する。
  論文  参考訳（メタデータ） (2024-03-26T00:09:38Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• A & B == B & A: Triggering Logical Reasoning Failures in Large Language Models [65.86149763739141]
  LogicAskerはLLMの論理的推論能力を総合的に評価し改善する自動手法である。 LogicAsker は GPT-3, ChatGPT, GPT-4, Bard, Vicuna, Guanaco の6種類の LLM に対して評価を行った。 その結果、LogicAskerのテストケースは、異なるLLMで論理的推論失敗を25%から94%の確率で発見できることがわかった。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• KGQuiz: Evaluating the Generalization of Encoded Knowledge in Large Language Models [39.554274096542244]
  KGQuizは、大規模言語モデルの知識一般化能力を調べるための知識集約型ベンチマークである。 我々は,KGQuizベンチマークを用いて,5つの知識集約タスクと知識領域の10個のオープンソースおよびブラックボックスLCMを評価した。 我々は、KGQuizをテストベッドとして想定し、ドメインやタスクフォーマット間のパフォーマンスの微妙な変化を分析する。
  論文  参考訳（メタデータ） (2023-10-15T04:00:36Z)
• Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from Knowledge Graphs [19.0797968186656]
  大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。 以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
  論文  参考訳（メタデータ） (2023-09-06T15:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。