論文の概要: Estimating LLM Uncertainty with Logits

• arxiv url: http://arxiv.org/abs/2502.00290v3
• Date: Sat, 29 Mar 2025 08:51:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:31:26.351814
• Title: Estimating LLM Uncertainty with Logits
• Title（参考訳）: 論理によるLLM不確かさの推定
• Authors: Huan Ma, Jingdong Chen, Guangyu Wang, Changqing Zhang,
• Abstract要約: 本稿では,大規模言語モデルにおける非結合トークンの不確実性を推定するためのフレームワークとして,ロジッツ誘発トークン不確実性(LogTokU)を提案する。 我々は,LogTokUの実装にエビデンスモデリングを採用し,その不確実性を推定して下流タスクを導出する。
• 参考スコア（独自算出の注目度）: 39.145322355643906
• License:
• Abstract: Over the past few years, Large Language Models (LLMs) have developed rapidly and are widely applied in various domains. However, LLMs face the issue of hallucinations, generating responses that may be unreliable when the models lack relevant knowledge. To be aware of potential hallucinations, uncertainty estimation methods have been introduced, and most of them have confirmed that reliability lies in critical tokens. However, probability-based methods perform poorly in identifying token reliability, limiting their practical utility. In this paper, we reveal that the probability-based method fails to estimate token reliability due to the loss of evidence strength information which is accumulated in the training stage. Therefore, we present Logits-induced token uncertainty (LogTokU), a framework for estimating decoupled token uncertainty in LLMs, enabling real-time uncertainty estimation without requiring multiple sampling processes. We employ evidence modeling to implement LogTokU and use the estimated uncertainty to guide downstream tasks. The experimental results demonstrate that LogTokU has significant effectiveness and promise.
• Abstract（参考訳）: 過去数年間、Large Language Models (LLM) は急速に発展し、様々な領域で広く使われている。 しかし、LLMは幻覚の問題に直面し、モデルが関連する知識を欠いている場合、信頼できない応答を生成する。 幻覚の可能性を認識するため、不確実性推定法が導入されており、信頼性が重要なトークンにあることが確認されている。 しかし、確率に基づく手法は、トークンの信頼性を識別し、実用性を制限している。 本稿では,学習段階に蓄積された証拠強度情報の喪失により,確率に基づく手法がトークンの信頼性を推定できないことを明らかにする。 そこで我々は,LLMにおける非結合トークンの不確実性を推定するフレームワークLogTokUを提案し,複数のサンプリングプロセスを必要としないリアルタイム不確実性推定を可能にする。 我々は,LogTokUの実装にエビデンスモデリングを採用し,その不確実性を推定して下流タスクを導出する。 実験結果から,LogTokUの有効性と有望性が確認された。

関連論文リスト

• UAlign: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models [41.67393607081513]
  大きな言語モデル(LLM)は、しばしば、彼らが持っている事実の知識を正確に表現するのに苦労する。 知識境界を表現するために不確実性推定を利用するUAlignフレームワークを提案する。 提案したUAlign は LLM の能力を大幅に向上させ,既知の疑問に自信を持って答えることができることを示す。
  論文  参考訳（メタデータ） (2024-12-16T14:14:27Z)
• Do LLMs estimate uncertainty well in instruction-following? [9.081508933326644]
  大規模言語モデル(LLM)は、ユーザ指示に従うことができるため、さまざまなドメインにわたるパーソナルAIエージェントとして価値のあるものになり得る。 命令追従の文脈におけるLCMの不確実性推定能力の最初の体系的評価について述べる。 以上の結果から,既存の不確実性手法は,特にモデルが後続の命令で微妙な誤りを犯した場合に困難であることがわかった。
  論文  参考訳（メタデータ） (2024-10-18T16:32:10Z)
• Unconditional Truthfulness: Learning Conditional Dependency for Uncertainty Quantification of Large Language Models [96.43562963756975]
  対象変数が条件と非条件生成信頼度のギャップである回帰モデルを訓練する。 この学習条件依存モデルを用いて、前のステップの不確実性に基づいて、現在の生成ステップの不確かさを変調する。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach [6.209293868095268]
  LLMにおける不確実性推定と校正の問題について検討する。 LLMの応答の不確かさを推定するためにラベル付きデータセットを利用する教師付きアプローチを提案する。 本手法は,ブラックボックス,グレイボックス,ホワイトボックスなど,モデルアクセシビリティの異なるレベルに適応し,実装が容易である。
  論文  参考訳（メタデータ） (2024-04-24T17:10:35Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models [15.735715641327836]
  本研究では,不確実性のレンズを用いたLarge Language Models(LLM)のリスク評価について検討する。 本研究は,LLMの不確かさ・非実効性予測に対する不確実性推定の有効性を検証した。 我々の研究から得た洞察は、信頼性の高いLCMの設計と開発に光を当てた。
  論文  参考訳（メタデータ） (2023-07-16T08:28:04Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。