論文の概要: Multi-Perspective Consistency Enhances Confidence Estimation in Large
Language Models
- arxiv url: http://arxiv.org/abs/2402.11279v1
- Date: Sat, 17 Feb 2024 13:37:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 22:11:28.733288
- Title: Multi-Perspective Consistency Enhances Confidence Estimation in Large
Language Models
- Title(参考訳): 大規模言語モデルにおけるマルチパースペクティブ一貫性による信頼度推定
- Authors: Pei Wang, Yejie Wang, Muxi Diao, Keqing He, Guanting Dong, Weiran Xu
- Abstract要約: 本研究は,大規模言語モデルの信頼性評価の改善に焦点を当てる。
言語モデルにおける自己認識の脆弱さを考慮して,マルチパースペクティブ・一貫性(MPC)法を提案する。
8つの公開データセットの実験結果は、我々のMPCが最先端のパフォーマンスを達成することを示す。
- 参考スコア(独自算出の注目度): 27.63938857490995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the deployment of large language models (LLMs), accurate confidence
estimation is critical for assessing the credibility of model predictions.
However, existing methods often fail to overcome the issue of overconfidence on
incorrect answers. In this work, we focus on improving the confidence
estimation of large language models. Considering the fragility of
self-awareness in language models, we introduce a Multi-Perspective Consistency
(MPC) method. We leverage complementary insights from different perspectives
within models (MPC-Internal) and across different models (MPC-Across) to
mitigate the issue of overconfidence arising from a singular viewpoint. The
experimental results on eight publicly available datasets show that our MPC
achieves state-of-the-art performance. Further analyses indicate that MPC can
mitigate the problem of overconfidence and is effectively scalable to other
models.
- Abstract(参考訳): 大規模言語モデル(llm)の展開においては,モデル予測の信頼性を評価する上で,正確な信頼度推定が重要である。
しかし、既存の手法は、しばしば不正確な答えに対する過信の問題を克服することができない。
本研究は,大規模言語モデルの信頼度推定の改善に焦点をあてる。
言語モデルにおける自己認識の脆弱さを考慮して,マルチパースペクティブ・一貫性(MPC)法を提案する。
モデル内の異なる視点(MPC-Internal)と異なるモデル(MPC-Across)の相補的な洞察を活用し、特異な視点から生じる過信の問題を軽減する。
8つの公開データセットの実験結果は、我々のMPCが最先端のパフォーマンスを達成することを示す。
さらなる分析は、MPCが過信の問題を軽減することができ、他のモデルに効果的にスケーラブルであることを示している。
関連論文リスト
- Calibrating the Confidence of Large Language Models by Eliciting Fidelity [52.47397325111864]
RLHFのようなテクニックで最適化された大規模な言語モデルは、有用で無害な点において優れた整合性を実現している。
調整後、これらの言語モデルはしばしば過剰な自信を示し、表現された自信は正確さの度合いで正確に校正しない。
本稿では,言語モデルの信頼度を推定するプラグイン・アンド・プレイ手法を提案する。
論文 参考訳(メタデータ) (2024-04-03T11:36:12Z) - Uncertainty-Aware Evaluation for Vision-Language Models [0.0]
現在の評価手法は重要な要素である不確実性を見落としている。
精度の高いモデルも高い不確実性を持つ可能性があることを示す。
また, 実験結果から, モデルの不確かさと言語モデル部分との相関が明らかとなった。
論文 参考訳(メタデータ) (2024-02-22T10:04:17Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2024-02-21T16:15:20Z) - A Comprehensive Study of Multilingual Confidence Estimation on Large
Language Models [22.927967194408634]
本稿では,大規模言語モデルにおける多言語信頼度推定(MlingConf)の包括的検討を紹介する。
本研究では,これらの信頼度スコアが,多言語間での自己抑止を通じてLLM性能を向上させる方法について検討する。
より正確な信頼度を求めるために,言語間信頼度推定法を提案する。
論文 参考訳(メタデータ) (2024-02-21T08:20:06Z) - Multi-View Conformal Learning for Heterogeneous Sensor Fusion [0.12086712057375555]
異種センサ融合のためのマルチビュー・シングルビューコンフォメーションモデルの構築と試験を行った。
我々のモデルは、共形予測フレームワークに基づいているため、理論的な限界信頼保証を提供する。
また,複数ビューモデルが単一ビューモデルに比べて不確実性の低い予測セットを生成することを示した。
論文 参考訳(メタデータ) (2024-02-19T17:30:09Z) - N-Critics: Self-Refinement of Large Language Models with Ensemble of
Critics [5.516095889257118]
本稿では,大規模言語モデル(LLM)の自己補正機構を提案し,毒性や事実幻覚などの問題を緩和する。
この方法は、批評家とモデル自身のフィードバックのアンサンブルを通じてモデル出力を精査する。
論文 参考訳(メタデータ) (2023-10-28T11:22:22Z) - Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。
本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。
新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
論文 参考訳(メタデータ) (2023-07-19T12:11:15Z) - Calibrating Multimodal Learning [94.65232214643436]
本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。
この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
論文 参考訳(メタデータ) (2023-06-02T04:29:57Z) - Trusted Multi-View Classification with Dynamic Evidential Fusion [73.35990456162745]
信頼型マルチビュー分類(TMC)と呼ばれる新しいマルチビュー分類アルゴリズムを提案する。
TMCは、様々な視点をエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。
理論的および実験的結果は、精度、堅牢性、信頼性において提案されたモデルの有効性を検証した。
論文 参考訳(メタデータ) (2022-04-25T03:48:49Z) - Trusted Multi-View Classification [76.73585034192894]
本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。
さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。
提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
論文 参考訳(メタデータ) (2021-02-03T13:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。