論文の概要: Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling

• arxiv url: http://arxiv.org/abs/2311.08718v1
• Date: Wed, 15 Nov 2023 05:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 16:57:39.165843
• Title: Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling
• Title（参考訳）: 入力の明確化による大規模言語モデルの不確かさの解消
• Authors: Bairu Hou, Yujian Liu, Kaizhi Qian, Jacob Andreas, Shiyu Chang, Yang Zhang
• Abstract要約: 大規模言語モデル(LLM)のための不確実性分解フレームワークを提案する。 我々のフレームワークは入力の一連の明確化を生成し、それらを固定LLMに入力し、対応する予測をアンサンブルする。 実験により,提案手法は様々なタスクに対して正確かつ確実な不確実性定量化を提供することを示した。
• 参考スコア（独自算出の注目度）: 74.00331519233026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty decomposition refers to the task of decomposing the total uncertainty of a model into data (aleatoric) uncertainty, resulting from the inherent complexity or ambiguity of the data, and model (epistemic) uncertainty, resulting from the lack of knowledge in the model. Performing uncertainty decomposition for large language models (LLMs) is an important step toward improving the reliability, trustworthiness, and interpretability of LLMs, but this research task is very challenging and remains unresolved. The existing canonical method, Bayesian Neural Network (BNN), cannot be applied to LLMs, because BNN requires training and ensembling multiple variants of models, which is infeasible or prohibitively expensive for LLMs. In this paper, we introduce an uncertainty decomposition framework for LLMs, called input clarifications ensemble, which bypasses the need to train new models. Rather than ensembling models with different parameters, our approach generates a set of clarifications for the input, feeds them into the fixed LLMs, and ensembles the corresponding predictions. We show that our framework shares a symmetric decomposition structure with BNN. Empirical evaluations demonstrate that the proposed framework provides accurate and reliable uncertainty quantification on various tasks. Code will be made publicly available at https://github.com/UCSB-NLP-Chang/llm_uncertainty .
• Abstract（参考訳）: 不確実性分解とは、モデルの全不確実性をデータ(アーキテクチャ)の不確実性(データ固有の複雑さまたは曖昧さ)とモデル(エピステミック)の不確実性(モデル内の知識の欠如)に分解するタスクを指す。 大規模言語モデル(LLM)における不確実性分解の実現は, LLMの信頼性, 信頼性, 解釈可能性の向上に向けた重要なステップであるが, この研究課題は非常に困難であり, 未解決のままである。 既存の標準的手法であるベイズニューラルネットワーク(bnn)は、複数のモデルのトレーニングとセンスを必要とするため、llmには適用できない。 本稿では,新たなモデルの学習の必要性を回避し,入力明確化アンサンブルと呼ばれるLCMの不確実性分解フレームワークを提案する。 異なるパラメータを持つモデルをセンセンシングするのではなく、入力の一連の明確化を生成し、固定されたllmに入力し、対応する予測をアンサンブルする。 我々のフレームワークはbnnと対称分解構造を共有している。 実証的評価により,提案手法が様々なタスクに対する正確で信頼性の高い不確実性定量化をもたらすことが示された。 コードはhttps://github.com/UCSB-NLP-Chang/llm_uncertaintyで公開される。

関連論文リスト

• CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
  大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。 LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。 我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-04T18:27:12Z)
• Unified Uncertainties: Combining Input, Data and Model Uncertainty into a Single Formulation [6.144680854063938]
  本稿では,ニューラルネットワークによる入力の不確実性を伝播する手法を提案する。 その結果,入力の不確実性の伝播により,より安定な決定境界が得られることがわかった。 入力の不確かさがモデルを通して伝播すると、出力におけるモデルの不確かさが生じることを議論し、実証する。
  論文  参考訳（メタデータ） (2024-06-26T23:13:45Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
  大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。 ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:42:05Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Distinguishing the Knowable from the Unknowable with Language Models [15.471748481627143]
  地中真理確率の欠如において、与えられた不確実性を解き放つために、より大きなモデルが地中真理の代用として現れるような設定を探索する。 凍結, 事前訓練されたモデルの埋め込みを訓練した小さな線形プローブが, トークンレベルでより大きなモデルがより自信を持つようになる時期を正確に予測することを示した。 我々は,同じタスクにおいて非自明な精度を実現する,完全に教師なしの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:22:49Z)
• Quantifying Uncertainty in Natural Language Explanations of Large Language Models [29.34960984639281]
  大規模言語モデル (LLM) は、高スループット自然言語処理 (NLP) アプリケーションのための強力なツールとして、ますます使われている。 生成された説明の不確かさを定量化するために、$textitVerbalized Uncertainty$と$textitProbing Uncertainty$という2つの新しいメトリクスを提案します。 ベンチマークデータセットの実証分析により、言語化された不確実性は説明の信頼性の信頼できる見積りではないことが判明した。
  論文  参考訳（メタデータ） (2023-11-06T21:14:40Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。