Fugu-MT 論文翻訳(概要): Enhancing Language Model Factuality via Activation-Based Confidence Calibration and Guided Decoding

論文の概要: Enhancing Language Model Factuality via Activation-Based Confidence Calibration and Guided Decoding

arxiv url: http://arxiv.org/abs/2406.13230v1
Date: Wed, 19 Jun 2024 05:33:34 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 23:09:15.517458
Title: Enhancing Language Model Factuality via Activation-Based Confidence Calibration and Guided Decoding
Title（参考訳）: アクティベーションに基づく信頼度校正とガイドデコードによる言語モデルのファクタリティ向上
Authors: Xin Liu, Farima Fatahi Bayat, Lu Wang,
Abstract要約: キャリブレーション言語モデル(LM)は、その生成信頼度を実際の回答の正しさの確率と整合させる。本稿では,アクティベーションに基づくキャリブレーション手法であるActCabを提案する。また,信頼度の高い復号法であるCoDecを提案する。
参考スコア（独自算出の注目度）: 7.855485779946983
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Calibrating language models (LMs) aligns their generation confidence with the actual likelihood of answer correctness, which can inform users about LMs' reliability and mitigate hallucinated content. However, prior calibration methods, such as self-consistency-based and logit-based approaches, are either limited in inference-time efficiency or fall short of providing informative signals. Moreover, simply filtering out low-confidence responses reduces the LM's helpfulness when the answers are correct. Therefore, effectively using calibration techniques to enhance an LM's factuality remains an unsolved challenge. In this paper, we first propose an activation-based calibration method, ActCab, which trains a linear layer on top of the LM's last-layer activations that can better capture the representations of knowledge. Built on top of ActCab, we further propose CoDec, a confidence-guided decoding strategy to elicit truthful answers with high confidence from LMs. By evaluating on five popular QA benchmarks, ActCab achieves superior calibration performance than all competitive baselines, e.g., by reducing the average expected calibration error (ECE) score by up to 39%. Further experiments on CoDec show consistent improvements in several LMs' factuality on challenging QA datasets, such as TruthfulQA, highlighting the value of confidence signals in enhancing factuality.
Abstract（参考訳）: キャリブレーション言語モデル(LM)は、その生成信頼度を実際の正解率と整合させ、LMの信頼性をユーザーに通知し、幻覚的コンテンツを緩和する。しかし、自己整合性に基づく手法やロジットに基づく手法のような事前校正手法は、推論時間の効率に制限があるか、情報信号の提供に不足している。さらに、低信頼応答をフィルタリングするだけで、回答が正しければLMの有用性が低下する。したがって、LMの事実性を高めるためにキャリブレーションを効果的に活用することは未解決の課題である。本稿では,まず,アクティベーションに基づくキャリブレーション手法であるActCabを提案する。 ActCab上に構築されたCoDecは、信頼性の高い復号化戦略であり、LMからの信頼性の高い真理解を導き出す。一般的な5つのQAベンチマークで評価することにより、ActCabは、平均的なキャリブレーション誤差(ECE)スコアを最大39%削減することで、全ての競合ベースライン、例えば、より優れたキャリブレーション性能を達成する。 CoDecのさらなる実験は、TrathfulQAのような挑戦的なQAデータセットに対するいくつかのLMの事実性に一貫した改善を示し、事実性を高める上での信頼信号の価値を強調している。

関連論文リスト

On the Intrinsic Self-Correction Capability of LLMs: Uncertainty and Latent Concept [34.51532840859617]
本稿では,大規模言語モデルを収束状態に導くための適切な命令を提示する。本稿では,活性化潜在概念がモデルの不確実性と自己補正性能の収束を促進することを示す数学的定式化を提案する。
論文参考訳（メタデータ） (2024-06-04T14:55:43Z)
Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference [37.82259435084825]
適切に校正されたAIモデルは、その精度を分布内入力(ID)に正しく報告し、また、分布外入力(OOD)の検出を可能にする必要がある。本稿では、キャリブレーション正則化を統合した変分推論(VI)に基づくベイズ学習の拡張を提案する。
論文参考訳（メタデータ） (2024-04-17T13:08:26Z)
Confidence Calibration and Rationalization for LLMs via Multi-Agent Deliberation [18.815226646364476]
大規模言語モデル(LLM)の既存のキャリブレーション手法は、「集団知恵」を最大限に活用することなく、個人の信頼度を推定または引き出すことに重点を置いている。我々は,複数ツール強化LDMエージェントの協調的・表現的能力を活用した,ポストホックトレーニングフリーキャリブレーション戦略であるCollaborativeを提案する。
論文参考訳（メタデータ） (2024-04-14T02:40:43Z)
Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [89.20169610517381]
ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
論文参考訳（メタデータ） (2024-02-27T01:37:23Z)
Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
論文参考訳（メタデータ） (2024-02-14T15:52:42Z)
Calibrating Long-form Generations from Large Language Models [37.2496541665881]
大きな言語モデル(LLM)の信頼性スコアは、その応答が正しいという実際の可能性と一致すべきである。現在の信頼性評価手法とキャリブレーション基準は、応答の正しさを2値の真/偽評価に頼っている。本稿では,LLMの応答の正しさと関連する信頼度の両方を,様々なスコアの分布として扱う統一校正フレームワークを提案する。
論文参考訳（メタデータ） (2024-02-09T17:00:32Z)
Reconfidencing LLMs from the Grouping Loss Perspective [56.801251926946485]
大規模言語モデル(LLM)は、自信のある音調で幻覚的な答えを生じさせる可能性がある。近年の研究では、不確実性制御はキャリブレーションを超えて行わなければならないことが示されている。そこで我々は,MistralとLLaMAの回答に対する信頼度を評価するために,知識ベースから導出した新しい評価データセットを構築した。
論文参考訳（メタデータ） (2024-02-07T15:40:22Z)
Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。我々はLSMに答えを自己評価するように指示する。自己評価に基づくスコアリング手法をベンチマークする。
論文参考訳（メタデータ） (2023-12-14T19:09:22Z)
Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
論文参考訳（メタデータ） (2023-05-24T10:12:33Z)
Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning [63.53407136812255]
オフライン強化学習は、探索を必要とせずに、事前に収集された静的データセットから効果的なポリシーを学ぶことを約束する。既存のQラーニングとアクター批判に基づくオフポリティクスRLアルゴリズムは、アウト・オブ・ディストリビューション(OOD)アクションや状態からのブートストラップ時に失敗する。我々は,OOD状態-動作ペアを検出し,トレーニング目標への貢献度を下げるアルゴリズムであるUncertainty Weighted Actor-Critic (UWAC)を提案する。
論文参考訳（メタデータ） (2021-05-17T20:16:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。