論文の概要: Uncertainty Decomposition and Quantification for In-Context Learning of
Large Language Models
- arxiv url: http://arxiv.org/abs/2402.10189v1
- Date: Thu, 15 Feb 2024 18:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 14:09:15.796539
- Title: Uncertainty Decomposition and Quantification for In-Context Learning of
Large Language Models
- Title（参考訳）: 大規模言語モデルの文脈内学習における不確実性分解と定量化
- Authors: Chen Ling, Xujiang Zhao, Wei Cheng, Yanchi Liu, Yiyou Sun, Xuchao
Zhang, Mika Oishi, Takao Osaki, Katsushi Matsuda, Jie Ji, Guangji Bai, Liang
Zhao, Haifeng Chen
- Abstract要約: 大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
- 参考スコア（独自算出の注目度）: 54.18411645870683
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-context learning has emerged as a groundbreaking ability of Large Language
Models (LLMs) and revolutionized various fields by providing a few
task-relevant demonstrations in the prompt. However, trustworthy issues with
LLM's response, such as hallucination, have also been actively discussed.
Existing works have been devoted to quantifying the uncertainty in LLM's
response, but they often overlook the complex nature of LLMs and the uniqueness
of in-context learning. In this work, we delve into the predictive uncertainty
of LLMs associated with in-context learning, highlighting that such
uncertainties may stem from both the provided demonstrations (aleatoric
uncertainty) and ambiguities tied to the model's configurations (epistemic
uncertainty). We propose a novel formulation and corresponding estimation
method to quantify both types of uncertainties. The proposed method offers an
unsupervised way to understand the prediction of in-context learning in a
plug-and-play fashion. Extensive experiments are conducted to demonstrate the
effectiveness of the decomposition. The code and data are available at:
\url{https://github.com/lingchen0331/UQ_ICL}.
- Abstract（参考訳）: インコンテキスト学習はLarge Language Models(LLM)の画期的な能力として登場し、いくつかのタスク関連デモをプロンプトで提供することによって、さまざまな分野に革命をもたらした。
しかし、幻覚などのLSMの反応に関する信頼できる問題も積極的に議論されている。
既存の研究はLLMの応答の不確かさの定量化に費やされてきたが、LLMの複雑な性質と文脈内学習の独特さをしばしば見落としている。
本研究は,文脈内学習に関連するllmの予測的不確実性について考察し,その不確実性は,提供されたデモンストレーション(アレータ的不確実性)と,モデルの構成(適応的不確実性)に結びついた曖昧性(あいまいさ)の両方に起因する可能性があることを指摘した。
両タイプの不確かさを定量化するための新しい定式化および対応する推定法を提案する。
提案手法は、プラグアンドプレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
大規模な実験を行い, 分解の有効性を実証した。
コードとデータは、 \url{https://github.com/lingchen0331/uq_icl} で入手できる。
関連論文リスト
- Unveiling the Capabilities of Large Language Models in Detecting Offensive Language with Annotation Disagreement [22.992484902761994]
本研究では,攻撃言語検出における多言語モデル(LLM)の性能を系統的に評価する。
本研究では,二項分類の精度を分析し,モデル信頼度と人的不一致度の関係を検証し,不一致サンプルがモデル決定にどう影響するかを考察する。
論文 参考訳（メタデータ） (2025-02-10T07:14:26Z) - A Survey on Uncertainty Quantification of Large Language Models: Taxonomy, Open Research Challenges, and Future Directions [9.045698110081686]
大規模言語モデル (LLMs) は、信頼性を高く表現した、妥当で、事実的に正しくない応答を生成する。
従来の研究では、LLMが生み出す幻覚やその他の非現実的な反応は、関連するプロンプトに対するLLMの不確実性を調べることによって検出できることが示されている。
本調査は, LLMの健全な特徴と強度, 弱点を識別し, 既存の不確実性定量化手法を幅広く検討することを目的としている。
論文 参考訳（メタデータ） (2024-12-07T06:56:01Z) - Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。
本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。
本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
論文 参考訳（メタデータ） (2024-07-20T11:19:58Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space [14.715989394285238]
既存のLarge Language Models (LLM) には、ユーザが生成するレスポンスごとに不確実性/信頼度を計測するための固有の機能がない。
本稿では,これらの課題に対処する新しい枠組みを提案する。
意味密度は、意味空間における確率分布の観点から各応答の不確かさ/自信情報を抽出する。
論文 参考訳（メタデータ） (2024-05-22T17:13:49Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Explanation-aware Soft Ensemble Empowers Large Language Model In-context
Learning [50.00090601424348]
大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。
我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
論文 参考訳（メタデータ） (2023-11-13T06:13:38Z) - Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文 参考訳（メタデータ） (2023-05-24T06:41:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。