論文の概要: Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong

• arxiv url: http://arxiv.org/abs/2501.09775v1
• Date: Thu, 16 Jan 2025 10:27:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:00:51.278395
• Title: Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong
• Title（参考訳）: 複数の選択肢:推論によって大きな言語モデル(LLM)が間違っている場合でも、より自信を持てるようになる
• Authors: Tairan Fu, Javier Conde, Gonzalo Martínez, María Grandury, Pedro Reviriego,
• Abstract要約: 回答に対する自信は、モデルが直接答えるか、答える前に推論を提供するよう求められたかどうかにどのように依存するかを調査する。 我々の仮説は、この行動は、選択された答えの確率を変更する推論によるものであるというものである。
• 参考スコア（独自算出の注目度）: 2.8367942280334493
• License:
• Abstract: One of the most widely used methods to evaluate LLMs are Multiple Choice Question (MCQ) tests. MCQ benchmarks enable the testing of LLM knowledge on almost any topic at scale as the results can be processed automatically. To help the LLM answer, a few examples called few shots can be included in the prompt. Moreover, the LLM can be asked to answer the question directly with the selected option or to first provide the reasoning and then the selected answer, which is known as chain of thought. In addition to checking whether the selected answer is correct, the evaluation can look at the LLM-estimated probability of its response as an indication of the confidence of the LLM in the response. In this paper, we study how the LLM confidence in its answer depends on whether the model has been asked to answer directly or to provide the reasoning before answering. The results of the evaluation of questions on a wide range of topics in seven different models show that LLMs are more confident in their answers when they provide reasoning before the answer. This occurs regardless of whether the selected answer is correct. Our hypothesis is that this behavior is due to the reasoning that modifies the probability of the selected answer, as the LLM predicts the answer based on the input question and the reasoning that supports the selection made. Therefore, LLM estimated probabilities seem to have intrinsic limitations that should be understood in order to use them in evaluation procedures. Interestingly, the same behavior has been observed in humans, for whom explaining an answer increases confidence in its correctness.
• Abstract（参考訳）: LLMを評価する最も広く使われている手法の1つは、Multiple Choice Question (MCQ) テストである。 MCQベンチマークは、結果が自動的に処理されるため、ほぼ全てのトピックにおいてLLM知識のテストを可能にする。 LLMの回答を助けるために、プロンプトに数発のショットと呼ばれるいくつかの例を含めることができる。 さらに、LSMは、選択された選択肢に直接答えるか、まず推論を行い、次に選択された答えを尋ねることができる。 選択された回答が正しいかどうかの確認に加えて、評価は、その応答におけるLLMの信頼性の指標として、その応答のLLM推定確率を調べることができる。 本稿では, LLM の回答に対する信頼度が, モデルが直接答えるか, 答える前に推論を行うかに依存するかを検討する。 7つの異なるモデルにおける幅広いトピックに対する質問の評価結果から, LLM が回答の前に推論を行う場合, 回答に自信があることが示唆された。 これは、選択された答えが正しいかどうかに関わらず発生する。 我々の仮説は、LLMが入力された質問と選択をサポートする推論に基づいて回答を予測するため、選択された回答の確率を変更する推論が原因である、というものである。 したがって, LLM推定確率は, 評価手順に使用するためには, 本質的な限界があると考えられる。 興味深いことに、人間では同様の行動が観察されており、答えを説明することで、その正しさに対する自信が増している。

関連論文リスト

• Modeling Future Conversation Turns to Teach LLMs to Ask Clarifying Questions [45.04582353648683]
  今後,予測結果のシミュレーションにより,選好ラベルを割り当てることを提案する。 これにより、LLMは、将来の順番で各ユーザの解釈に合わせた応答を生成することができるとき、明確な質問をすることを学ぶことができる。 我々は,各ユーザの解釈と期待された回答を再現できる質問を明確にする能力に基づいて,システム評価を行う。
  論文  参考訳（メタデータ） (2024-10-17T17:29:04Z)
• Are LLMs Aware that Some Questions are not Open-ended? [58.93124686141781]
  大規模言語モデルでは、いくつかの質問が限定的な回答を持ち、より決定論的に答える必要があることを認識しているかどうかを調査する。 LLMにおける疑問認識の欠如は,(1)非オープンな質問に答えるにはカジュアルすぎる,(2)オープンな質問に答えるには退屈すぎる,という2つの現象をもたらす。
  論文  参考訳（メタデータ） (2024-10-01T06:07:00Z)
• Open-LLM-Leaderboard: From Multi-choice to Open-style Questions for LLMs Evaluation, Benchmark, and Arena [23.264049073539663]
  大規模言語モデル(LLM)を評価するために、MCQ(Multiple-choice Question)が頻繁に使用される。 LLMは、A/B/C/Dのような特定の解選択IDを本質的に好んでいるかもしれない。 本研究は,これらの課題に対処し,完全にオープンな質問を通じて新たなLCM評価ベンチマークを確立することを目的としている。
  論文  参考訳（メタデータ） (2024-06-11T17:59:47Z)
• Perception of Knowledge Boundary for Large Language Models through Semi-open-ended Question Answering [67.94354589215637]
  大きな言語モデル(LLM)は知識探索に広く用いられているが、幻覚に悩まされている。 本稿では,LLMの知識境界(KB)を半オープンな質問(SoeQ)で知覚する。 GPT-4 は SoeQ では性能が悪く,KB に気づいていないことが多い。 我々の補助モデルであるLLaMA-2-13Bは、より曖昧な答えを見つけるのに有効である。
  論文  参考訳（メタデータ） (2024-05-23T10:00:14Z)
• Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question? [15.308093827770474]
  大規模言語モデル(LLM)が選択のみのプロンプトで複数選択質問応答(MCQA)を実行できるかどうかを探索する。 このプロンプトは11/12ケースで過半数のベースラインを上回り、精度は0.33まで向上する。 我々は、暗記、選択力学、質問推論について、深いブラックボックス分析を行う。
  論文  参考訳（メタデータ） (2024-02-19T19:38:58Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• Enhancing Answer Selection in Community Question Answering with Pre-trained and Large Language Models [0.9065034043031668]
  まず,質問応答型クロスアテンションネットワーク(QAN)を提案する。 次に,大規模言語モデル(LLM)を用いて,知識拡張による回答選択を行う。 実験の結果、QANモデルが2つのデータセット、SemEval2015とSemEval 2017の最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-11-29T10:24:50Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。