論文の概要: LLMs can implicitly learn from mistakes in-context

• arxiv url: http://arxiv.org/abs/2502.08550v1
• Date: Wed, 12 Feb 2025 16:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:50:12.830794
• Title: LLMs can implicitly learn from mistakes in-context
• Title（参考訳）: LLMはコンテキスト内のミスから暗黙的に学習できる
• Authors: Lisa Alazraki, Maximilian Mozes, Jon Ander Campos, Yi Chern Tan, Marek Rei, Max Bartolo,
• Abstract要約: 本研究では,Large Language Models (LLMs) が,説明が得られない場合の数学的推論タスクの誤りから学習できるかどうかを検討する。 驚くべきことに、LLMは文脈から有理性を取り除いた場合、平均して性能が向上する。 このアプローチは、私たちの評価においてチェーン・オブ・シークレット・プロンプトよりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 15.818061010632249
• License:
• Abstract: Learning from mistakes is a fundamental feature of human intelligence. Previous work has shown that Large Language Models (LLMs) can also learn from incorrect answers when provided with a comprehensive rationale detailing why an answer is wrong or how to correct it. In this work, we examine whether LLMs can learn from mistakes in mathematical reasoning tasks when these explanations are not provided. We investigate if LLMs are able to implicitly infer such rationales simply from observing both incorrect and correct answers. Surprisingly, we find that LLMs perform better, on average, when rationales are eliminated from the context and incorrect answers are simply shown alongside correct ones. This approach also substantially outperforms chain-of-thought prompting in our evaluations. We show that these results are consistent across LLMs of different sizes and varying reasoning abilities. Further, we carry out an in-depth analysis, and show that prompting with both wrong and correct answers leads to greater performance and better generalisation than introducing additional, more diverse question-answer pairs into the context. Finally, we show that new rationales generated by models that have only observed incorrect and correct answers are scored equally as highly by humans as those produced with the aid of exemplar rationales. Our results demonstrate that LLMs are indeed capable of in-context implicit learning.
• Abstract（参考訳）: ミスから学ぶことは人間の知性の基本的特徴である。 以前の研究によると、なぜ答えが間違っているのか、どのように修正するかを詳細に説明した包括的な根拠が提供されると、LLM(Large Language Models)は誤った回答から学ぶことができる。 本研究では,これらの説明が得られない場合の数学的推論タスクにおける誤りからLLMが学習できるかどうかを検討する。 LLMがそのような有理を暗黙的に推測できるかどうかを、単に誤った答えと正しい答えの両方を観察することから検討する。 意外なことに、LLMは文脈から有理性を排除し、誤った答えを単に正解と並べて示せば、平均して性能が向上することがわかった。 このアプローチは、私たちの評価においてチェーン・オブ・シークレット・プロンプトよりも大幅に優れています。 これらの結果は,異なるサイズと異なる推論能力のLSM間で一致していることを示す。 さらに, より詳細な分析を行い, 誤答と正解の両方を誘導することで, 文脈にさらに多様な質問応答ペアを導入するよりも, より優れた性能と一般化がもたらされることを示す。 最後に, 誤解と正解のみを観測したモデルで生成した新たな有理性は, 模範的有理性の助けを借りて生成したものと同等に高く評価されていることを示す。 この結果から,LLMは文脈内暗黙的な学習が可能であることが示唆された。

関連論文リスト

• Do Large Language Models Truly Grasp Mathematics? An Empirical Exploration From Cognitive Psychology [13.964263002704582]
  提案手法は,Chains of Thoughtプロンプトを用いても,修正されたCRT問題を解く際の誤り率が高いことを示す。 具体的には、従来の質問と比べて平均精度が最大50%低下した。 この発見は、LLMが人間に匹敵する真の数学的推論能力を持っているという信念に挑戦する。
  論文  参考訳（メタデータ） (2024-10-19T05:01:56Z)
• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• LLMs cannot find reasoning errors, but can correct them given the error location [0.9017736137562115]
  低い自己補正性能は、LLMが既知の誤りを訂正する能力ではなく、論理的な誤りを見つけることができないことに起因する。 我々は,そのミスフィリング能力について,最先端のLLMのいくつかをベンチマークし,そのタスクに一般的に苦労していることを示す。 そこで本研究では,地平線ラベルやドメイン内トレーニングデータを使わずに,誤った位置情報を得られることを示す。
  論文  参考訳（メタデータ） (2023-11-14T20:12:38Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• Learning From Mistakes Makes LLM Better Reasoner [106.48571828587728]
  大規模言語モデル(LLM)は、最近数学の問題を解く際、顕著な推論能力を示した。 この研究は、LLMが人間の学習プロセスに似たMistAkes(LEMA)から学習できるかどうかを探求する。
  論文  参考訳（メタデータ） (2023-10-31T17:52:22Z)
• Large Language Models Help Humans Verify Truthfulness -- Except When They Are Convincingly Wrong [35.64962031447787]
  大規模言語モデル(LLM)は、Web上の情報へのアクセスにますます使われています。 80人のクラウドワーカーによる実験では,事実チェックを容易にするために,言語モデルと検索エンジン(情報検索システム)を比較した。 LLMの説明を読むユーザーは、類似の精度を保ちながら、検索エンジンを使用するものよりもはるかに効率的である。
  論文  参考訳（メタデータ） (2023-10-19T08:09:58Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。