論文の概要: Confidence Calibration and Rationalization for LLMs via Multi-Agent Deliberation
- arxiv url: http://arxiv.org/abs/2404.09127v3
- Date: Fri, 10 May 2024 16:38:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 18:05:28.246368
- Title: Confidence Calibration and Rationalization for LLMs via Multi-Agent Deliberation
- Title(参考訳): マルチエージェント検討によるLCMの信頼性校正と合理化
- Authors: Ruixin Yang, Dheeraj Rajagopal, Shirley Anugrah Hayati, Bin Hu, Dongyeop Kang,
- Abstract要約: 大規模言語モデル(LLM)の既存のキャリブレーション手法は、「集団知恵」を最大限に活用することなく、個人の信頼度を推定または引き出すことに重点を置いている。
我々は,複数ツール強化LDMエージェントの協調的・表現的能力を活用した,ポストホックトレーニングフリーキャリブレーション戦略であるCollaborativeを提案する。
- 参考スコア(独自算出の注目度): 18.815226646364476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Uncertainty estimation is a significant issue for current large language models (LLMs) that are generally poorly calibrated and over-confident, especially with reinforcement learning from human feedback (RLHF). Unlike humans, whose decisions and confidences not only stem from intrinsic beliefs but can also be adjusted through daily observations, existing calibration methods for LLMs focus on estimating or eliciting individual confidence without taking full advantage of the "Collective Wisdom": the interaction among multiple LLMs that can collectively improve both accuracy and calibration. In this work, we propose Collaborative Calibration, a post-hoc training-free calibration strategy that leverages the collaborative and expressive capabilities of multiple tool-augmented LLM agents in a simulated group deliberation process. We demonstrate the effectiveness of Collaborative Calibration on generative QA tasks across various domains, showing its potential in harnessing the rationalization of collectively calibrated confidence assessments and improving the reliability of model predictions.
- Abstract(参考訳): 特に人間からのフィードバック(RLHF)から強化学習を行う場合、不確実性推定は、一般的には校正が不十分で過信である現在の大規模言語モデル(LLM)にとって重要な問題である。
人間の決定と信頼は本質的な信念に起因するだけでなく、日々の観察を通して調整することもできるが、従来のLCMの校正法は「集団的な知恵」を最大限に活用せずに個人的信頼を推定または引き出すことに焦点を当てている。
本研究では,複数ツール強化LDMエージェントの協調的・表現的能力を活用した,ポストホックトレーニングフリーキャリブレーション戦略であるCollaborative Calibrationを提案する。
協調校正が様々な領域にわたる生成的QAタスクに与える影響を実証し、総合的な校正された信頼度評価の合理化とモデル予測の信頼性の向上に寄与する可能性を示した。
関連論文リスト
- Enhancing Language Model Factuality via Activation-Based Confidence Calibration and Guided Decoding [7.855485779946983]
キャリブレーション言語モデル(LM)は、その生成信頼度を実際の回答の正しさの確率と整合させる。
本稿では,アクティベーションに基づくキャリブレーション手法であるActCabを提案する。
また,信頼度の高い復号法であるCoDecを提案する。
論文 参考訳(メタデータ) (2024-06-19T05:33:34Z) - Multicalibration for Confidence Scoring in LLMs [6.948522445499497]
本稿では,大規模言語モデル(LLM)が生成する出力に対して,解釈可能かつ信頼性の高い信頼スコアを得るために,"マルチバリデーション(multicalibration)"を用いることを提案する。
埋め込み空間内のクラスタリングと「自己アノテーション」という2つの手法を用いて、正しさの確率と相関するプロンプト/コンプリートペアのグルーピングを形成する方法を示す。
我々は,従来の手法と比較して,キャリブレーションと精度の両方の細かな測定精度を大幅に向上させる信頼性スコアを得る方法を示す。
論文 参考訳(メタデータ) (2024-04-06T17:33:37Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2024-02-21T16:15:20Z) - Calibrating Long-form Generations from Large Language Models [37.2496541665881]
大きな言語モデル(LLM)の信頼性スコアは、その応答が正しいという実際の可能性と一致すべきである。
現在の信頼性評価手法とキャリブレーション基準は、応答の正しさを2値の真/偽評価に頼っている。
本稿では,LLMの応答の正しさと関連する信頼度の両方を,様々なスコアの分布として扱う統一校正フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-09T17:00:32Z) - On Task Performance and Model Calibration with Supervised and
Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。
しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文 参考訳(メタデータ) (2023-12-21T11:55:10Z) - On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
本研究では,多彩な嗜好が報酬モデルに及ぼす影響について検討する。
その結果,様々な選好データが報酬モデルのキャリブレーション性能に悪影響を及ぼすことがわかった。
本稿では,RMの校正性能を高めるための多目的リワード学習手法を提案する。
論文 参考訳(メタデータ) (2023-12-12T16:17:15Z) - A Study on the Calibration of In-context Learning [27.533223818505682]
In-context Learning (ICL) は静的言語モデルに適切なプロンプトで適応するための一般的な手法である。
また,ICL例の増加に伴い,モデルの誤校正が向上し,キャリブレーションの精度が向上することが確認された。
再校正手法について検討し,スケーリング結合キャリブレータが一貫した校正誤差を低減できることを見出した。
論文 参考訳(メタデータ) (2023-12-07T03:37:39Z) - On the Calibration of Large Language Models and Alignment [63.605099174744865]
信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。
構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。
我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
論文 参考訳(メタデータ) (2023-11-22T08:57:55Z) - Calibrating Multimodal Learning [94.65232214643436]
本稿では,従来の手法の予測信頼性を校正するために,新たな正規化手法であるCML(Callibrating Multimodal Learning)正則化を提案する。
この技術は、既存のモデルによって柔軟に装備され、信頼性校正、分類精度、モデルロバスト性の観点から性能を向上させることができる。
論文 参考訳(メタデータ) (2023-06-02T04:29:57Z) - Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence
Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。
出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
論文 参考訳(メタデータ) (2023-05-24T10:12:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。