論文の概要: Uncertainty Profiles for LLMs: Uncertainty Source Decomposition and Adaptive Model-Metric Selection

• arxiv url: http://arxiv.org/abs/2505.07309v1
• Date: Mon, 12 May 2025 07:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.297441
• Title: Uncertainty Profiles for LLMs: Uncertainty Source Decomposition and Adaptive Model-Metric Selection
• Title（参考訳）: LLMの不確かさプロファイル:不確かさ源分解と適応モデル-メトリック選択
• Authors: Pei-Fu Guo, Yun-Da Tsai, Shou-De Lin,
• Abstract要約: 大型言語モデル(LLM)は、幻覚として知られる事実的に誤った出力を生成することが多い。 本研究では,不確実性を4つの異なるソースに分解するための系統的枠組みを提案する。 本稿では,その不確実性特性と与えられたタスクのアライメントやばらつきによって導かれるタスク固有距離/モデル選択法を提案する。
• 参考スコア（独自算出の注目度）: 4.151658495779136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often generate fluent but factually incorrect outputs, known as hallucinations, which undermine their reliability in real-world applications. While uncertainty estimation has emerged as a promising strategy for detecting such errors, current metrics offer limited interpretability and lack clarity about the types of uncertainty they capture. In this paper, we present a systematic framework for decomposing LLM uncertainty into four distinct sources, inspired by previous research. We develop a source-specific estimation pipeline to quantify these uncertainty types and evaluate how existing metrics relate to each source across tasks and models. Our results show that metrics, task, and model exhibit systematic variation in uncertainty characteristic. Building on this, we propose a method for task specific metric/model selection guided by the alignment or divergence between their uncertainty characteristics and that of a given task. Our experiments across datasets and models demonstrate that our uncertainty-aware selection strategy consistently outperforms baseline strategies, helping us select appropriate models or uncertainty metrics, and contributing to more reliable and efficient deployment in uncertainty estimation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば、現実のアプリケーションにおいて信頼性を損なう幻覚と呼ばれる、流動的だが事実的に誤った出力を生成する。 このようなエラーを検出するための有望な戦略として不確実性推定が登場したが、現在のメトリクスは限定的な解釈可能性を提供し、それらが捉えた不確実性の種類について明瞭さを欠いている。 本稿では,LLMの不確かさを4つの異なるソースに分解する手法を提案する。 我々は、これらの不確実性タイプを定量化するためのソース固有の推定パイプラインを開発し、既存のメトリクスがタスクやモデルを通して各ソースとどのように関係しているかを評価する。 この結果から,不確実性特性の指標,課題,モデルが系統的に変化していることが示唆された。 そこで本研究では,その不確実性特性と与えられたタスクの整合性や相違性によって導かれるタスク固有距離・モデル選択法を提案する。 データセットやモデルに対する我々の実験は、不確実性を考慮した選択戦略がベースライン戦略を一貫して上回り、適切なモデルや不確実性メトリクスを選択するのに役立ち、不確実性推定におけるより信頼性と効率的なデプロイメントに寄与することを示しています。

関連論文リスト

• Probabilistic Modeling of Disparity Uncertainty for Robust and Efficient Stereo Matching [61.73532883992135]
  本稿では,新しい不確実性を考慮したステレオマッチングフレームワークを提案する。 我々はベイズリスクを不確実性の測定として採用し、データを別々に見積もり、不確実性をモデル化する。
  論文  参考訳（メタデータ） (2024-12-24T23:28:20Z)
• Label-Confidence-Aware Uncertainty Estimation in Natural Language Generation [8.635811152610604]
  不確実性定量化(UQ)は、AIシステムの安全性と堅牢性を保証するために不可欠である。 サンプルとラベルソース間の分岐に基づくラベル信頼度(LCA)の不確実性評価を提案する。
  論文  参考訳（メタデータ） (2024-12-10T07:35:23Z)
• Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
  認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。 本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。 この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
  論文  参考訳（メタデータ） (2024-11-03T17:32:00Z)
• Rethinking the Uncertainty: A Critical Review and Analysis in the Era of Large Language Models [42.563558441750224]
  大規模言語モデル(LLM)は、幅広い人工知能応用の基礎となっている。 現在の手法はしばしば、真の不確実性を特定し、測定し、対処するのに苦労する。 本稿では,不確実性の種類や原因を特定し,理解するための包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:07:15Z)
• Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach [6.209293868095268]
  LLMにおける不確実性推定と校正の問題について検討する。 LLMの応答の不確かさを推定するためにラベル付きデータセットを利用する教師付きアプローチを提案する。 本手法は,ブラックボックス,グレイボックス,ホワイトボックスなど,モデルアクセシビリティの異なるレベルに適応し,実装が容易である。
  論文  参考訳（メタデータ） (2024-04-24T17:10:35Z)
• From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation [5.355925496689674]
  私たちは、異なる予測の不確実性対策を作成できるフレームワークを構築します。 本手法は,分布外および誤分類インスタンスの検出において,その性能を評価することにより,画像データセット上での検証を行う。
  論文  参考訳（メタデータ） (2024-02-16T14:40:22Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。