Fugu-MT 論文翻訳(概要): Investigating Uncertainty Calibration of Aligned Language Models under the Multiple-Choice Setting

論文の概要: Investigating Uncertainty Calibration of Aligned Language Models under the Multiple-Choice Setting

arxiv url: http://arxiv.org/abs/2310.11732v1
Date: Wed, 18 Oct 2023 06:07:28 GMT
ステータス: 処理完了
システム内更新日: 2023-10-19 17:37:53.905009
Title: Investigating Uncertainty Calibration of Aligned Language Models under the Multiple-Choice Setting
Title（参考訳）: 複数経路設定によるアライメント言語モデルの不確かさ校正の検討
Authors: Guande He, Peng Cui, Jianfei Chen, Wenbo Hu, Jun Zhu
Abstract要約: 本研究は,複数選択条件下でのLMのロジットに基づく不確実性校正に対するアライメントプロセスの影響を系統的に評価する。複数選択条件下では2つの不確実性がみられ, 応答決定とフォーマット選好の責任を負う。そこで本研究では,協調型LMのキャリブレーションを行うための,実装が容易かつサンプル効率のよい手法を提案する。
参考スコア（独自算出の注目度）: 31.386229001853817
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite the significant progress made in practical applications of aligned language models (LMs), they tend to be overconfident in output answers compared to the corresponding pre-trained LMs. In this work, we systematically evaluate the impact of the alignment process on logit-based uncertainty calibration of LMs under the multiple-choice setting. We first conduct a thoughtful empirical study on how aligned LMs differ in calibration from their pre-trained counterparts. Experimental results reveal that there are two distinct uncertainties in LMs under the multiple-choice setting, which are responsible for the answer decision and the format preference of the LMs, respectively. Then, we investigate the role of these two uncertainties on aligned LM's calibration through fine-tuning in simple synthetic alignment schemes and conclude that one reason for aligned LMs' overconfidence is the conflation of these two types of uncertainty. Furthermore, we examine the utility of common post-hoc calibration methods for aligned LMs and propose an easy-to-implement and sample-efficient method to calibrate aligned LMs. We hope our findings could provide insights into the design of more reliable alignment processes for LMs.
Abstract（参考訳）: 協調言語モデル (LM) の実践的応用において顕著な進歩はあったが, 対応する事前学習型 LM と比較すると, 出力応答が過度に信頼される傾向にある。本研究では,多段設定下でのlmsのロジットに基づく不確実性校正に対するアライメントプロセスの影響を体系的に評価する。我々はまず,事前学習したキャリブレーションとlmsのキャリブレーションの違いについて,注意深い実験を行った。実験結果から,複数選択条件下でのLMには2つの不確実性が存在することが明らかとなった。次に,単純な合成アライメントスキームにおける微調整によるlmの調整におけるこれら2つの不確かさの役割について検討し,これら2つの不確かさの和合がlmsの過密化の一因であると結論づける。さらに,アライメントLMの一般的なポストホックキャリブレーション法の有用性について検討し,アライメントLMのキャリブレーションを容易かつ効率的に行う方法を提案する。 lmsのより信頼性の高いアライメントプロセスの設計に関する洞察を私たちの発見に提供できることを願っています。

関連論文リスト

Does Alignment Tuning Really Break LLMs' Internal Confidence? [5.893124686141782]
大規模言語モデル(LLM)は目覚ましい進歩を見せているが、実際の応用には信頼性の高い校正が必要である。本研究は, モデル, キャリブレーション指標, タスク, 信頼抽出方法の4次元にわたるLCMのキャリブレーション劣化の包括的解析を行う。
論文参考訳（メタデータ） (2024-08-31T05:12:36Z)
Enhancing Language Model Factuality via Activation-Based Confidence Calibration and Guided Decoding [7.855485779946983]
キャリブレーション言語モデル(LM)は、その生成信頼度を実際の回答の正しさの確率と整合させる。本稿では,アクティベーションに基づくキャリブレーション手法であるActCabを提案する。また,信頼度の高い復号法であるCoDecを提案する。
論文参考訳（メタデータ） (2024-06-19T05:33:34Z)
Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
論文参考訳（メタデータ） (2024-02-27T01:37:23Z)
Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文参考訳（メタデータ） (2024-02-21T16:15:20Z)
Language Models with Conformal Factuality Guarantees [44.767328168194815]
コンフォーマルな事実性(conformal factuality)は、言語モデル(LM)出力に対する高い確率の正確性を保証するフレームワークである。言語モデルにおける共形予測は,高い確率精度保証を提供するバックオフアルゴリズムに対応することを示す。
論文参考訳（メタデータ） (2024-02-15T18:31:53Z)
RoAST: Robustifying Language Models via Adversarial Perturbation with Selective Training [105.02614392553198]
選択的トレーニング(RoAST)を用いた逆方向摂動を用いたロバスト化法を提案する。 RoASTは、モデルの堅牢性、摂動入力に対する堅牢性、および事前訓練されたLMにおける一般化可能な知識の2つの重要な情報源を組み込んでいる。 6種類のLM上での最先端の微調整法と比較して,RoASTの有効性を実証した。
論文参考訳（メタデータ） (2023-12-07T04:23:36Z)
The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning [61.68787689234622]
最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
論文参考訳（メタデータ） (2023-12-04T00:46:11Z)
LitCab: Lightweight Language Model Calibration over Short- and Long-form Responses [14.77013588561901]
本稿では,入力テキストの表現とバイアス項の予測を行う単一線形層からなる軽量キャリブレーション機構LitCabを提案する。評価のために、8つのテキスト生成タスクからなるベンチマークであるCaTを構築し、短いフレーズから段落までの応答をカバーする。 Llama2-7BでLitCabをテストし、すべてのタスクのキャリブレーションを改善し、平均ECEスコアを最大30%削減する。
論文参考訳（メタデータ） (2023-10-30T00:30:34Z)
LM vs LM: Detecting Factual Errors via Cross Examination [22.50837561382647]
言語モデル(LM)の事実性評価フレームワークを提案する。私たちのキーとなる考え方は、間違ったクレームがモデルが生成する他のクレームと矛盾する可能性があるということです。我々は,最近の複数のLMが4つのベンチマークで行った事実的主張に対して,本手法を実証的に評価した。
論文参考訳（メタデータ） (2023-05-22T17:42:14Z)
A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。トレーニングにおけるPLMの校正性能の動的変化について検討する。最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
論文参考訳（メタデータ） (2022-10-31T21:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。