論文の概要: Combining Confidence Elicitation and Sample-based Methods for
Uncertainty Quantification in Misinformation Mitigation
- arxiv url: http://arxiv.org/abs/2401.08694v2
- Date: Tue, 30 Jan 2024 21:59:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 17:07:02.212848
- Title: Combining Confidence Elicitation and Sample-based Methods for
Uncertainty Quantification in Misinformation Mitigation
- Title（参考訳）: 不確実性定量化のための信頼緩和法とサンプル法の組み合わせ
- Authors: Mauricio Rivera, Jean-Fran\c{c}ois Godbout, Reihaneh Rabbany, Kellin
Pelrine
- Abstract要約: 誤情報緩和に対処する主要な候補として、大規模言語モデルが登場している。
既存のアプローチは幻覚や過信的な予測に苦しむ。
本稿では, 直接信頼誘導法とサンプルベース整合性法の両方を活用する不確実性定量化フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 6.929834518749884
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models have emerged as prime candidates to tackle
misinformation mitigation. However, existing approaches struggle with
hallucinations and overconfident predictions. We propose an uncertainty
quantification framework that leverages both direct confidence elicitation and
sampled-based consistency methods to provide better calibration for NLP
misinformation mitigation solutions. We first investigate the calibration of
sample-based consistency methods that exploit distinct features of consistency
across sample sizes and stochastic levels. Next, we evaluate the performance
and distributional shift of a robust numeric verbalization prompt across single
vs. two-step confidence elicitation procedure. We also compare the performance
of the same prompt with different versions of GPT and different numerical
scales. Finally, we combine the sample-based consistency and verbalized methods
to propose a hybrid framework that yields a better uncertainty estimation for
GPT models. Overall, our work proposes novel uncertainty quantification methods
that will improve the reliability of Large Language Models in misinformation
mitigation applications.
- Abstract（参考訳）: 誤情報の緩和に取り組むための最有力候補として,大規模言語モデルが登場している。
しかし、既存のアプローチは幻覚や自信過剰な予測に苦しむ。
我々は,NLP誤情報軽減ソリューションのキャリブレーションを改善するために,直接信頼抽出とサンプルベース一貫性手法の両方を活用する不確実性定量化フレームワークを提案する。
まず,サンプルサイズと確率レベルの異なる一貫性特性を利用するサンプルベース一貫性手法の校正について検討する。
次に,単数と二段階の信頼導出手順における頑健な数値化プロンプトの性能と分布変化を評価する。
また、同じプロンプトの性能をGPTの異なるバージョンと異なる数値スケールと比較する。
最後に,サンプルベースの一貫性と動詞化手法を組み合わせることで,gptモデルに対する不確実性推定の精度を高めるハイブリッドフレームワークを提案する。
本研究は,誤情報低減アプリケーションにおいて,大規模言語モデルの信頼性を向上させる新たな不確実性定量化手法を提案する。
関連論文リスト
- Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳（メタデータ） (2024-02-21T16:15:20Z) - Towards Better Certified Segmentation via Diffusion Models [62.21617614504225]
セグメンテーションモデルは敵の摂動に弱いため、医療や自動運転といった重要な意思決定システムでの使用を妨げます。
近年,理論的保証を得るためにガウス雑音を入力に加えることにより,セグメント化予測のランダム化が提案されている。
本稿では,ランダムな平滑化と拡散モデルを組み合わせたセグメンテーション予測の問題に対処する。
論文 参考訳（メタデータ） (2023-06-16T16:30:39Z) - On Uncertainty Calibration and Selective Generation in Probabilistic
Neural Summarization: A Benchmark Study [14.041071717005362]
要約のための最新のディープモデルは、優れたベンチマーク性能を得るが、誤校正された予測の不確実性を生成する傾向にある。
これは、低品質の予測に高い信頼性を割り当て、現実世界のアプリケーションにおける信頼性と信頼性を損なうことを意味する。
確率的深層学習法は誤校正問題の一般的な解法であるが, 複雑な自己回帰的要約タスクにおける相対的有効性はよく理解されていない。
論文 参考訳（メタデータ） (2023-04-17T23:06:28Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳（メタデータ） (2022-12-22T22:05:16Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Bayesian Evidential Learning for Few-Shot Classification [22.46281648187903]
Few-Shot 分類は、非常に限定されたラベル付きサンプルをベースクラスから新しいクラスに一般化することを目的としている。
最先端のソリューションは、サンプル間の距離を計算するための良い計量と表現空間を見つけることを含む。
有望な精度性能にもかかわらず、計量ベースのFSC手法の不確実性を効果的にモデル化する方法は依然として課題である。
論文 参考訳（メタデータ） (2022-07-19T03:58:00Z) - On the Calibration of Pre-trained Language Models using Mixup Guided by
Area Under the Margin and Saliency [47.90235939359225]
モデルキャリブレーションをさらに改善する事前学習型言語モデルのための新しい混合戦略を提案する。
本手法は,ドメイン内およびドメイン外テストサンプルの強いベースラインと比較して,最小のキャリブレーション誤差を実現する。
論文 参考訳（メタデータ） (2022-03-14T23:45:08Z) - Deep Classifiers with Label Noise Modeling and Distance Awareness [27.47689966724718]
本稿では,モデルとデータの不確実性を共同でモデル化するHetSNGP法を提案する。
提案モデルでは,これら2つの相補的な不確かさの組合せが好適であることを示す。
また,本手法のアンサンブル版であるHetSNGP Ensembleを提案する。
論文 参考訳（メタデータ） (2021-10-06T09:29:12Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳（メタデータ） (2020-05-21T16:08:38Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。