論文の概要: A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice

• arxiv url: http://arxiv.org/abs/2410.15326v1
• Date: Sun, 20 Oct 2024 07:55:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:13:31.257784
• Title: A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice
• Title（参考訳）: LLMの不確実性評価に関する調査:理論と実践
• Authors: Hsiu-Yuan Huang, Yutong Yang, Zhaoxi Zhang, Sanwoo Lee, Yunfang Wu,
• Abstract要約: 我々は、不確実性と信頼の定義を明確にし、それらの区別とモデル予測への含意を明らかにする。 本稿では,アプローチから導いた不確実性推定手法を分類する。 また,分布外検出,データアノテーション,質問の明確化など,多様なアプリケーションに不確実性をもたらす技術についても検討する。
• 参考スコア（独自算出の注目度）: 7.687545159131024
• License:
• Abstract: As large language models (LLMs) continue to evolve, understanding and quantifying the uncertainty in their predictions is critical for enhancing application credibility. However, the existing literature relevant to LLM uncertainty estimation often relies on heuristic approaches, lacking systematic classification of the methods. In this survey, we clarify the definitions of uncertainty and confidence, highlighting their distinctions and implications for model predictions. On this basis, we integrate theoretical perspectives, including Bayesian inference, information theory, and ensemble strategies, to categorize various classes of uncertainty estimation methods derived from heuristic approaches. Additionally, we address challenges that arise when applying these methods to LLMs. We also explore techniques for incorporating uncertainty into diverse applications, including out-of-distribution detection, data annotation, and question clarification. Our review provides insights into uncertainty estimation from both definitional and theoretical angles, contributing to a comprehensive understanding of this critical aspect in LLMs. We aim to inspire the development of more reliable and effective uncertainty estimation approaches for LLMs in real-world scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)が進化を続けるにつれて、それらの予測の不確実性を理解し、定量化することは、アプリケーションの信頼性を高めるために重要である。 しかし、LLMの不確実性推定に関連する既存の文献は、しばしばヒューリスティックなアプローチに依存し、手法の体系的な分類を欠いている。 本研究では,不確実性と信頼性の定義を明らかにするとともに,モデル予測におけるその違いと意義を明らかにする。 本研究では,ベイズ推定,情報理論,アンサンブル戦略などの理論的視点を統合し,ヒューリスティックなアプローチから導いた不確実性推定手法を分類する。 さらに,これらの手法をLLMに適用する場合に発生する課題に対処する。 また,分布外検出,データアノテーション,質問の明確化など,さまざまなアプリケーションに不確実性を組み込む手法についても検討する。 本稿では,LLMにおけるこの重要な側面の包括的理解に寄与する,定義的および理論的両角度からの不確実性推定の知見を提供する。 実世界のシナリオにおいて, LLMの信頼性が高く, 効果的な不確実性推定手法の開発を促すことを目的としている。

関連論文リスト

• Rethinking the Uncertainty: A Critical Review and Analysis in the Era of Large Language Models [42.563558441750224]
  大規模言語モデル(LLM)は、幅広い人工知能応用の基礎となっている。 現在の手法はしばしば、真の不確実性を特定し、測定し、対処するのに苦労する。 本稿では,不確実性の種類や原因を特定し,理解するための包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:07:15Z)
• A Comprehensive Survey on Evidential Deep Learning and Its Applications [64.83473301188138]
  Evidential Deep Learning (EDL)は、単一のフォワードパスで最小限の追加計算で信頼性の高い不確実性推定を提供する。 まず、主観的論理理論であるEDLの理論的基礎を掘り下げ、他の不確実性推定フレームワークとの区別について議論する。 さまざまな機械学習パラダイムや下流タスクにまたがる広範な応用について詳しく述べる。
  論文  参考訳（メタデータ） (2024-09-07T05:55:06Z)
• CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
  大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。 LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。 我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-04T18:27:12Z)
• Navigating Uncertainties in Machine Learning for Structural Dynamics: A Comprehensive Review of Probabilistic and Non-Probabilistic Approaches in Forward and Inverse Problems [0.0]
  本稿では,機械学習(ML)における不確実性のナビゲートに関する包括的レビューを行う。 確率的手法や非確率的手法に対する不確実性に気付くアプローチを列挙する。 このレビューは、ML技術を利用して構造的動的問題の不確実性に対処する際、研究者や実践者が情報的決定を行うのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-08-16T09:43:01Z)
• A Structured Review of Literature on Uncertainty in Machine Learning & Deep Learning [0.8667724053232616]
  我々は、リスクに敏感なアプリケーション、すなわち不確実性を理解し、定量化するアプリケーションにおいて、機械学習を適応するための重要な関心事に焦点を当てる。 本稿では,このトピックを構造化した方法でアプローチし,不確実性がMLプロセスに封入されているというさまざまな側面の文献をレビューする。 このレビューの主な貢献は、不確実性議論の範囲を広げ、Deep Learningにおける不確実性定量化手法のレビューを更新することである。
  論文  参考訳（メタデータ） (2024-06-01T07:17:38Z)
• Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach [6.209293868095268]
  LLMにおける不確実性推定と校正の問題について検討する。 LLMの応答の不確かさを推定するためにラベル付きデータセットを利用する教師付きアプローチを提案する。 本手法は,ブラックボックス,グレイボックス,ホワイトボックスなど,モデルアクセシビリティの異なるレベルに適応し,実装が容易である。
  論文  参考訳（メタデータ） (2024-04-24T17:10:35Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models [16.524794442035265]
  本研究では,不確実性のレンズを用いたLarge Language Models(LLM)のリスク評価について検討する。 本研究は,LLMの不確かさ・非実効性予測に対する不確実性推定の有効性を検証した。 我々の研究から得た洞察は、信頼性の高いLCMの設計と開発に光を当てた。
  論文  参考訳（メタデータ） (2023-07-16T08:28:04Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。