論文の概要: Benchmarking LLMs via Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2401.12794v1
- Date: Tue, 23 Jan 2024 14:29:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 15:17:16.045763
- Title: Benchmarking LLMs via Uncertainty Quantification
- Title(参考訳): 不確実性定量化によるLCMのベンチマーク
- Authors: Fanghua Ye, Mingming Yang, Jianhui Pang, Longyue Wang, Derek F. Wong,
Emine Yilmaz, Shuming Shi, Zhaopeng Tu
- Abstract要約: 我々は,Large Language Models (LLM) のための新しいベンチマーク手法を導入する。
本試験では,5つの自然言語処理タスクにまたがる8つのLLMについて検討した。
予測精度と予測不確実性の両方を考慮して,不確実性を考慮した評価指標UAccを導入する。
- 参考スコア(独自算出の注目度): 95.67653501674995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The proliferation of open-source Large Language Models (LLMs) from various
institutions has highlighted the urgent need for comprehensive evaluation
methods. However, current evaluation platforms, such as the widely recognized
HuggingFace open LLM leaderboard, neglect a crucial aspect -- uncertainty,
which is vital for thoroughly assessing LLMs. To bridge this gap, we introduce
a new benchmarking approach for LLMs that integrates uncertainty
quantification. Our examination involves eight LLMs (LLM series) spanning five
representative natural language processing tasks. Additionally, we introduce an
uncertainty-aware evaluation metric, UAcc, which takes into account both
prediction accuracy and prediction uncertainty. Our findings reveal that: I)
LLMs with higher accuracy may exhibit lower certainty; II) Larger-scale LLMs
may display greater uncertainty compared to their smaller counterparts; and
III) Instruction-finetuning tends to increase the uncertainty of LLMs. By
taking uncertainty into account, our new UAcc metric can either amplify or
diminish the relative improvement of one LLM over another and may even change
the relative ranking of two LLMs. These results underscore the significance of
incorporating uncertainty in the evaluation of LLMs.
- Abstract(参考訳): 各種機関からのオープンソースのLarge Language Models(LLM)の普及は,包括的評価手法の必要性を浮き彫りにした。
しかし、広く認知されているhuggingface open llm leaderboardのような現在の評価プラットフォームは、重要な側面である不確実性を無視している。
このギャップを埋めるために,不確実性定量化を統合したllmsのベンチマーク手法を提案する。
本研究は,5つの自然言語処理タスクにまたがる8つのLLM(LLMシリーズ)について検討した。
さらに,予測精度と予測の不確実性を考慮した不確実性認識評価指標であるuaccを導入する。
以上の結果より, 精度の高いLSMでは, 精度が低下する可能性があり, II) より大規模なLSMでは, より小型のLSMに比べて不確実性が高いこと, III) 命令ファインタニングではLCMの不確実性が高くなる傾向が示唆された。
不確実性を考慮することで、我々の新しいUAcc測定基準は、1つのLSMの相対的な改善を他のLSMよりも増幅または減少させることができる。
これらの結果はLLMの評価に不確かさを取り入れることの重要性を浮き彫りにした。
関連論文リスト
- Fact-and-Reflection (FaR) Improves Confidence Calibration of Large
Language Models [89.20169610517381]
ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。
実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。
FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
論文 参考訳(メタデータ) (2024-02-27T01:37:23Z) - When Do LLMs Need Retrieval Augmentation? Mitigating LLMs'
Overconfidence Helps Retrieval Augmentation [72.11942617502956]
大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。
Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。
本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
論文 参考訳(メタデータ) (2024-02-18T04:57:19Z) - MLLM-as-a-Judge: Assessing Multimodal LLM-as-a-Judge with
Vision-Language Benchmark [43.07531186686455]
本稿では,MLLM-as-a-Judgeと呼ばれる新しいベンチマークを導入し,審査員を支援するMLLMの能力を評価する。
本研究は, MLLMがPair Comparisonsにおいて顕著な人間ライクな識別を示す一方で, Scoring Evaluation や Batch Ranking のタスクにおいて, 人間の嗜好とは大きく異なっていることを明らかにした。
論文 参考訳(メタデータ) (2024-02-07T12:28:32Z) - TrustLLM: Trustworthiness in Large Language Models [446.5220130390284]
本稿では,大規模言語モデル(LLM)における信頼度に関する総合的研究であるTrustLLMを紹介する。
まず、8つの異なる次元にまたがる信頼性の高いLCMの原則を提案する。
これらの原則に基づいて、真理性、安全性、公正性、堅牢性、プライバシ、機械倫理を含む6つの次元にわたるベンチマークを確立します。
論文 参考訳(メタデータ) (2024-01-10T22:07:21Z) - Examining LLMs' Uncertainty Expression Towards Questions Outside
Parametric Knowledge [35.067234242461545]
大規模言語モデル(LLM)は、適切な応答を生成するのに十分なパラメトリック知識が不足している状況において不確実性を表現する。
本研究の目的は,このような状況下でのLCMの行動の体系的調査であり,誠実さと役に立つことのトレードオフを強調することである。
論文 参考訳(メタデータ) (2023-11-16T10:02:40Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Look Before You Leap: An Exploratory Study of Uncertainty Measurement
for Large Language Models [16.524794442035265]
本研究では,不確実性のレンズを用いたLarge Language Models(LLM)のリスク評価について検討する。
本研究は,LLMの不確かさ・非実効性予測に対する不確実性推定の有効性を検証した。
我々の研究から得た洞察は、信頼性の高いLCMの設計と開発に光を当てた。
論文 参考訳(メタデータ) (2023-07-16T08:28:04Z) - Can LLMs Express Their Uncertainty? An Empirical Evaluation of
Confidence Elicitation in LLMs [45.66518090353208]
本稿では,モデル微調整やプロプライエタリ情報へのアクセスを必要としない信頼性評価手法について検討する。
本稿では,言語化に基づく手法,一貫性に基づく手法,およびベンチマークのためのハイブリッド手法の3つのカテゴリを紹介する。
これらの手法を解析した結果,いくつかの重要な知見が得られた。
論文 参考訳(メタデータ) (2023-06-22T17:31:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。