論文の概要: Can We Trust LLMs? Mitigate Overconfidence Bias in LLMs through Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2405.16856v1
• Date: Mon, 27 May 2024 06:06:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 16:50:47.290829
• Title: Can We Trust LLMs? Mitigate Overconfidence Bias in LLMs through Knowledge Transfer
• Title（参考訳）: LLMを信頼できるか? 知識伝達によるLLMの過信バイアス軽減
• Authors: Haoyan Yang, Yixuan Wang, Xingyin Xu, Hanyuan Zhang, Yirong Bian,
• Abstract要約: この研究は、LLMの信頼性を改善するために、過信バイアスを軽減することを検討する。 そこで我々は,「大きな」LLMが,詳細かつシーケンシャルな推論経路を通じて,「小さな」LLMに知識を与えるような,思考の連鎖を利用した知識伝達(KT)手法を提案する。 この方法は、より大規模なモデルの高度な推論を使用して、より小さなモデルを微調整し、より正確な予測をキャリブレーションされた信頼性で作成することができる。
• 参考スコア（独自算出の注目度）: 7.677725180686651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The study explores mitigating overconfidence bias in LLMs to improve their reliability. We introduce a knowledge transfer (KT) method utilizing chain of thoughts, where "big" LLMs impart knowledge to "small" LLMs via detailed, sequential reasoning paths. This method uses advanced reasoning of larger models to fine-tune smaller models, enabling them to produce more accurate predictions with calibrated confidence. Experimental evaluation using multiple-choice questions and sentiment analysis across diverse datasets demonstrated the KT method's superiority over the vanilla and question-answer pair (QA) fine-tuning methods. The most significant improvement in three key metrics, where the KT method outperformed the vanilla and QA methods by an average of 55.3% and 43.1%, respectively. These findings underscore the KT method's potential in enhancing model trustworthiness and accuracy, offering precise outputs with well-matched confidence levels across various contexts.
• Abstract（参考訳）: この研究は、LLMの信頼性を改善するために、過信バイアスを軽減することを検討する。 そこで我々は,「大きな」LLMが,詳細かつシーケンシャルな推論経路を通じて,「小さな」LLMに知識を与えるような,思考の連鎖を利用した知識伝達(KT)手法を提案する。 この方法は、より大規模なモデルの高度な推論を用いて、より小さなモデルを微調整し、より正確な予測をキャリブレーションされた信頼性で作成することができる。 KT法がバニラと質問応答ペア(QA)の微調整法よりも優れていることを示した。 KT法はバニラ法とQA法をそれぞれ平均55.3%、43.1%で上回った。 これらの知見は、KT法がモデル信頼性と精度を高める可能性を示し、様々な文脈における信頼性レベルに整合した正確な出力を提供する。

関連論文リスト

• Dynamic Uncertainty Ranking: Enhancing In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Factual Confidence of LLMs: on Reliability and Robustness of Current Estimators [6.403926452181712]
  大規模言語モデル(LLM)は、その答えの事実において信頼できない傾向にある。 本稿では,事実信頼度の推定者の調査と実証的比較について述べる。 実験により, 訓練された隠れ状態プローブが最も信頼性の高い信頼度を推定できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-19T10:11:37Z)
• UBENCH: Benchmarking Uncertainty in Large Language Models with Multiple Choice Questions [10.28688988951815]
  UBENCHは、大きな言語モデルを評価するためのベンチマークである。 これには、知識、言語、理解、推論能力に関する3,978の質問が含まれている。 また,15個のLPMの信頼性を評価し,GLM4が最も優れていることを発見した。
  論文  参考訳（メタデータ） (2024-06-18T16:50:38Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Enhancing Confidence Expression in Large Language Models Through Learning from Past Experience [41.06726400259579]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著なパフォーマンスを示している。 信頼表現能力を高めるために,過去の経験から学習する方法(LePe)を提案する。
  論文  参考訳（メタデータ） (2024-04-16T06:47:49Z)
• Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
  ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。 実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
  論文  参考訳（メタデータ） (2024-02-27T01:37:23Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Benchmarking LLMs via Uncertainty Quantification [91.72588235407379]
  オープンソースのLarge Language Models(LLM)の普及は、包括的な評価方法の緊急の必要性を強調している。 我々は不確実性定量化を統合した LLM のための新しいベンチマーク手法を提案する。 以上の結果より, 精度の高いLSMでは, 精度が低下する可能性があり, II) より大規模なLSMでは, より小型のLSMに比べて不確実性が高いこと, III) 命令ファインタニングではLCMの不確実性が高くなる傾向が示唆された。
  論文  参考訳（メタデータ） (2024-01-23T14:29:17Z)
• Quantifying Uncertainty in Answers from any Language Model and Enhancing their Trustworthiness [16.35655151252159]
  本稿では,事前訓練された大規模言語モデルから悪い,投機的な回答を検出するBSDetectorを紹介する。 我々の不確実性定量化技術は,ブラックボックスAPIを通じてのみアクセス可能な LLM に対して有効である。
  論文  参考訳（メタデータ） (2023-08-30T17:53:25Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。