Fugu-MT 論文翻訳(概要): Uncertainty Quantification and Decomposition for LLM-based Recommendation

論文の概要: Uncertainty Quantification and Decomposition for LLM-based Recommendation

arxiv url: http://arxiv.org/abs/2501.17630v1
Date: Wed, 29 Jan 2025 13:08:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-30 15:54:24.493900
Title: Uncertainty Quantification and Decomposition for LLM-based Recommendation
Title（参考訳）: LLMに基づく勧告の不確かさの定量化と分解
Authors: Wonbin Kweon, Sanghwan Jang, SeongKu Kang, Hwanjo Yu,
Abstract要約: 大規模言語モデル (LLM) は, しばしばその推奨に不確実性を示す。 LLMに基づく推薦の信頼性を定量的に評価するために,予測の不確実性を推定するための新しい枠組みを提案する。本稿では,予測不確実性をレコメンデーションの不確実性に分解し,不確実性の原因の詳細な分析を可能にすることを提案する。
参考スコア（独自算出の注目度）: 20.10443406772368
License:
Abstract: Despite the widespread adoption of large language models (LLMs) for recommendation, we demonstrate that LLMs often exhibit uncertainty in their recommendations. To ensure the trustworthy use of LLMs in generating recommendations, we emphasize the importance of assessing the reliability of recommendations generated by LLMs. We start by introducing a novel framework for estimating the predictive uncertainty to quantitatively measure the reliability of LLM-based recommendations. We further propose to decompose the predictive uncertainty into recommendation uncertainty and prompt uncertainty, enabling in-depth analyses of the primary source of uncertainty. Through extensive experiments, we (1) demonstrate predictive uncertainty effectively indicates the reliability of LLM-based recommendations, (2) investigate the origins of uncertainty with decomposed uncertainty measures, and (3) propose uncertainty-aware prompting for a lower predictive uncertainty and enhanced recommendation. Our source code and model weights are available at https://github.com/WonbinKweon/UNC_LLM_REC_WWW2025
Abstract（参考訳）: 大規模言語モデル (LLM) が広く採用されているにもかかわらず, LLM は推奨に不確実性を示すことが多い。我々は,レコメンデーション生成におけるLLMの信頼性を確保するために,レコメンデーションの生成するレコメンデーションの信頼性を評価することの重要性を強調した。まず,LLMに基づく推薦の信頼性を定量的に評価するために,予測の不確実性を推定する新しい枠組みを導入する。さらに,予測の不確かさを推薦の不確実性に分解し,不確実性の原因の詳細な分析を可能にすることを提案する。本研究では,(1)LLMに基づく勧告の信頼性を効果的に示すこと,(2)分解された不確実性対策による不確実性の起源を調査すること,(3)予測不確実性の低減と勧告の強化を促す不確実性認識を提案する。ソースコードとモデルウェイトはhttps://github.com/WonbinKweon/UNC_LLM_REC_WWW2025で公開されています。

関連論文リスト

A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice [7.687545159131024]
我々は、不確実性と信頼の定義を明確にし、それらの区別とモデル予測への含意を明らかにする。本稿では,アプローチから導いた不確実性推定手法を分類する。また,分布外検出,データアノテーション,質問の明確化など,多様なアプリケーションに不確実性をもたらす技術についても検討する。
論文参考訳（メタデータ） (2024-10-20T07:55:44Z)
ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
自己整合性理論に基づく新しい不確実性尺度を導入する。次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
論文参考訳（メタデータ） (2024-06-29T17:33:07Z)
Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
論文参考訳（メタデータ） (2024-06-12T16:41:31Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach [6.209293868095268]
LLMにおける不確実性推定と校正の問題について検討する。 LLMの応答の不確かさを推定するためにラベル付きデータセットを利用する教師付きアプローチを提案する。本手法は,ブラックボックス,グレイボックス,ホワイトボックスなど,モデルアクセシビリティの異なるレベルに適応し,実装が容易である。
論文参考訳（メタデータ） (2024-04-24T17:10:35Z)
Benchmarking LLMs via Uncertainty Quantification [91.72588235407379]
オープンソースのLarge Language Models(LLM)の普及は、包括的な評価方法の緊急の必要性を強調している。我々は不確実性定量化を統合した LLM のための新しいベンチマーク手法を提案する。以上の結果より, 精度の高いLSMでは, 精度が低下する可能性があり, II) より大規模なLSMでは, より小型のLSMに比べて不確実性が高いこと, III) 命令ファインタニングではLCMの不確実性が高くなる傾向が示唆された。
論文参考訳（メタデータ） (2024-01-23T14:29:17Z)
Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。本稿では,LLMのための不確実性分解フレームワークについて述べる。提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文参考訳（メタデータ） (2023-11-15T05:58:35Z)
Quantifying Uncertainty in Natural Language Explanations of Large Language Models [29.34960984639281]
大規模言語モデル (LLM) は、高スループット自然言語処理 (NLP) アプリケーションのための強力なツールとして、ますます使われている。生成された説明の不確かさを定量化するために、$textitVerbalized Uncertainty$と$textitProbing Uncertainty$という2つの新しいメトリクスを提案します。ベンチマークデータセットの実証分析により、言語化された不確実性は説明の信頼性の信頼できる見積りではないことが判明した。
論文参考訳（メタデータ） (2023-11-06T21:14:40Z)
Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models [15.735715641327836]
本研究では,不確実性のレンズを用いたLarge Language Models(LLM)のリスク評価について検討する。本研究は,LLMの不確かさ・非実効性予測に対する不確実性推定の有効性を検証した。我々の研究から得た洞察は、信頼性の高いLCMの設計と開発に光を当てた。
論文参考訳（メタデータ） (2023-07-16T08:28:04Z)
Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
論文参考訳（メタデータ） (2023-04-13T17:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。