Fugu-MT 論文翻訳(概要): A Survey of Uncertainty Estimation Methods on Large Language Models

論文の概要: A Survey of Uncertainty Estimation Methods on Large Language Models

arxiv url: http://arxiv.org/abs/2503.00172v1
Date: Fri, 28 Feb 2025 20:38:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-05 19:20:41.181774
Title: A Survey of Uncertainty Estimation Methods on Large Language Models
Title（参考訳）: 大規模言語モデルにおける不確実性推定手法の検討
Authors: Zhiqiu Xia, Jinxuan Xu, Yuqian Zhang, Hang Liu,
Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示している。これらのモデルでは、偏見、幻覚、あるいは非現実的な反応が、その流感と現実的な外観によってもたらされる可能性がある。不確実性推定がこの課題に対処する鍵となる方法である。
参考スコア（独自算出の注目度）: 12.268958536971782
License:
Abstract: Large language models (LLMs) have demonstrated remarkable capabilities across various tasks. However, these models could offer biased, hallucinated, or non-factual responses camouflaged by their fluency and realistic appearance. Uncertainty estimation is the key method to address this challenge. While research efforts in uncertainty estimation are ramping up, there is a lack of comprehensive and dedicated surveys on LLM uncertainty estimation. This survey presents four major avenues of LLM uncertainty estimation. Furthermore, we perform extensive experimental evaluations across multiple methods and datasets. At last, we provide critical and promising future directions for LLM uncertainty estimation.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示している。しかし、これらのモデルでは、偏見、幻覚、あるいは非現実的な反応が、その流感と現実的な外観によってもたらされる可能性がある。不確実性推定がこの課題に対処する鍵となる方法である。不確実性推定の研究努力が増えている一方で、LLMの不確実性推定に関する包括的で専門的な調査が欠如している。本調査は, LLMの不確実性評価の4つの主要な方法を示す。さらに,複数の手法やデータセットにまたがる広範囲な実験的評価を行う。最終的に、LLMの不確実性推定の重要かつ将来的な方向性を提供する。

関連論文リスト

Estimating LLM Uncertainty with Logits [39.145322355643906]
我々は,大規模言語モデルにおけるトークン固有の不確かさをリアルタイムで推定するために設計された新しいフレームワークであるLogU(Logits-Token Uncertainty)を紹介する。実験の結果,LogUの有効性と妥当性が明らかとなり,モデル幻覚の課題に対処する上で大きな進展がみられた。
論文参考訳（メタデータ） (2025-02-01T03:18:02Z)
A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice [7.687545159131024]
我々は、不確実性と信頼の定義を明確にし、それらの区別とモデル予測への含意を明らかにする。本稿では,アプローチから導いた不確実性推定手法を分類する。また,分布外検出,データアノテーション,質問の明確化など,多様なアプリケーションに不確実性をもたらす技術についても検討する。
論文参考訳（メタデータ） (2024-10-20T07:55:44Z)
CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。 LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
論文参考訳（メタデータ） (2024-09-04T18:27:12Z)
MAQA: Evaluating Uncertainty Quantification in LLMs Regarding Data Uncertainty [10.154013836043816]
我々は,世界知識,数学的推論,コモンセンス推論タスクからなるMulti-Answer Question Answering データセット MAQA を提案する。その結果,データ不確実性の下でも,エントロピーと一貫性に基づく手法がモデルの不確実性をよく推定できることが示唆された。我々は、我々の観察が、現実的な環境での不確実性定量化に関する今後の研究の道を開くと信じている。
論文参考訳（メタデータ） (2024-08-13T11:17:31Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach [6.209293868095268]
LLMにおける不確実性推定と校正の問題について検討する。 LLMの応答の不確かさを推定するためにラベル付きデータセットを利用する教師付きアプローチを提案する。本手法は,ブラックボックス,グレイボックス,ホワイトボックスなど,モデルアクセシビリティの異なるレベルに適応し,実装が容易である。
論文参考訳（メタデータ） (2024-04-24T17:10:35Z)
Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文参考訳（メタデータ） (2024-02-15T18:46:24Z)
One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
論文参考訳（メタデータ） (2023-12-16T14:59:11Z)
Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。本稿では,LLMのための不確実性分解フレームワークについて述べる。提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文参考訳（メタデータ） (2023-11-15T05:58:35Z)
A Survey of Confidence Estimation and Calibration in Large Language Models [86.692994151323]
大規模言語モデル(LLM)は、様々な領域において幅広いタスクにまたがる顕著な機能を示している。印象的なパフォーマンスにもかかわらず、彼らは世代内の事実上の誤りのために信頼できない。信頼度を評価し、異なるタスクで調整することで、リスクを軽減し、LLMがより良い世代を創出できるようになります。
論文参考訳（メタデータ） (2023-11-14T16:43:29Z)
Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models [15.735715641327836]
本研究では,不確実性のレンズを用いたLarge Language Models(LLM)のリスク評価について検討する。本研究は,LLMの不確かさ・非実効性予測に対する不確実性推定の有効性を検証した。我々の研究から得た洞察は、信頼性の高いLCMの設計と開発に光を当てた。
論文参考訳（メタデータ） (2023-07-16T08:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。