Fugu-MT 論文翻訳(概要): Graph-based Confidence Calibration for Large Language Models

論文の概要: Graph-based Confidence Calibration for Large Language Models

arxiv url: http://arxiv.org/abs/2411.02454v2
Date: Thu, 22 May 2025 02:24:27 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-23 14:49:20.832869
Title: Graph-based Confidence Calibration for Large Language Models
Title（参考訳）: グラフに基づく大規模言語モデルの信頼度校正
Authors: Yukun Li, Sijia Wang, Lifu Huang, Li-Ping Liu,
Abstract要約: 本稿では,大規模言語モデルによって生成された複数の出力の自己整合性に基づいて,応答正当性を評価するための補助学習モデルを提案する。提案手法は,複数応答間の一致を表現するために整合性グラフを構築し,グラフニューラルネットワーク(GNN)を用いて各応答の正しさを推定する。
参考スコア（独自算出の注目度）: 22.394717844099684
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reliable confidence estimation is essential for enhancing the trustworthiness of large language models (LLMs), especially in high-stakes scenarios. Despite its importance, accurately estimating confidence in LLM responses remains a significant challenge. In this work, we propose using an auxiliary learning model to assess response correctness based on the self-consistency of multiple outputs generated by the LLM. Our method builds a consistency graph to represent the agreement among multiple responses and uses a graph neural network (GNN) to estimate the likelihood that each response is correct. Experiments demonstrate that this method has strong calibration performance on various benchmark datasets and generalizes well to out-of-domain cases.
Abstract（参考訳）: 信頼性評価は,大規模言語モデル(LLM)の信頼性向上に不可欠である。 LLM応答に対する信頼性を正確に推定することは、その重要性にもかかわらず、依然として重要な課題である。本研究では,LLMが生成する複数の出力の自己整合性に基づいて,応答の正当性を評価するための補助学習モデルを提案する。提案手法は,複数応答間の一致を表現するために整合性グラフを構築し,グラフニューラルネットワーク(GNN)を用いて各応答の正しさを推定する。実験により, この手法は様々なベンチマークデータセットに対して高い校正性能を示し, 領域外ケースによく適応することを示した。

関連論文リスト

Object-Level Verbalized Confidence Calibration in Vision-Language Models via Semantic Perturbation [26.580361841501514]
視覚言語モデル(VLM)は様々なマルチモーダルタスクに優れるが、しばしばキャリブレーションに苦しむ。この誤判定は、特にモデルが不正確または製造された情報を確実に提供した場合、ユーザーの信頼を損なう。本稿では,文節摂動(CSP)フレームワークを新たに提案し,オブジェクト中心クエリの言語的信頼度を校正する手法を提案する。
論文参考訳（メタデータ） (2025-04-21T04:01:22Z)
Rewarding Doubt: A Reinforcement Learning Approach to Confidence Calibration of Large Language Models [34.59785123314865]
LLM(Large Language Models)の安全かつ信頼性の高い使用には、その回答に対する信頼性の正確な表現が必要である。本稿では,LLMキャリブレーションのためのReinforcement Learning (RL) アプローチを提案する。
論文参考訳（メタデータ） (2025-03-04T13:48:50Z)
Efficient Test-Time Scaling via Self-Calibration [18.32718448734639]
多数決によるBest-of-NサンプリングとSelf-Consistencyは単純かつ効果的だが、各クエリに対して一定の数のサンプリングレスポンスが必要である。これは、より単純な問題に対する無駄な計算と、より困難な問題に対する不十分な探索をもたらす可能性がある。反応のモデル信頼性は、テスト時間スケーリングの効率向上に有効である、と我々は主張する。
論文参考訳（メタデータ） (2025-02-25T00:21:14Z)
Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。また,信頼度の高い自己補正(textbfConFix$)も開発した。
論文参考訳（メタデータ） (2024-11-20T14:15:18Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Multicalibration for Confidence Scoring in LLMs [6.948522445499497]
本稿では,大規模言語モデル(LLM)が生成する出力に対して,解釈可能かつ信頼性の高い信頼スコアを得るために,"マルチバリデーション(multicalibration)"を用いることを提案する。埋め込み空間内のクラスタリングと「自己アノテーション」という2つの手法を用いて、正しさの確率と相関するプロンプト/コンプリートペアのグルーピングを形成する方法を示す。我々は,従来の手法と比較して,キャリブレーションと精度の両方の細かな測定精度を大幅に向上させる信頼性スコアを得る方法を示す。
論文参考訳（メタデータ） (2024-04-06T17:33:37Z)
Calibrating Large Language Models Using Their Generations Only [44.26441565763495]
APRICOT は、信頼目標を設定し、テキスト入力と出力のみに基づいて LLM の信頼度を予測する追加モデルを訓練する手法である。概念的には単純で、出力以上のターゲットモデルへのアクセスを必要とせず、言語生成に干渉せず、多くの潜在的な使用法を持っている。閉書質問応答における白箱と黒箱のLCMの校正誤差を考慮し,誤ったLCMの解答を検出する方法として,本手法の競合性を示す。
論文参考訳（メタデータ） (2024-03-09T17:46:24Z)
Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文参考訳（メタデータ） (2024-02-13T11:25:20Z)
Calibrating Long-form Generations from Large Language Models [34.72041258464477]
大きな言語モデル(LLM)の信頼性スコアは、その応答が正しいという実際の可能性と一致すべきである。現在の信頼性評価手法とキャリブレーション基準は、応答の正しさを2値の真/偽評価に頼っている。本稿では,LLMの応答の正しさと関連する信頼度の両方を,様々なスコアの分布として扱う統一校正フレームワークを提案する。
論文参考訳（メタデータ） (2024-02-09T17:00:32Z)
Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文参考訳（メタデータ） (2023-10-09T11:44:50Z)
Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-07T12:06:53Z)
Fast Adaptively Weighted Matrix Factorization for Recommendation with Implicit Feedback [28.30678887024847]
信頼度重み付けの割り当て方法と、大量の観測されていないデータを扱う方法は、暗黙のレコメンデーションモデルにおいて2つの重要な問題である。可変オートエンコーダに基づく高速適応重み付き行列分解法(FAWMF)を提案する。実世界のデータセットに対する実験は、提案したFAWMFと学習アルゴリズムfBGDの優位性を実証している。
論文参考訳（メタデータ） (2020-03-04T04:50:44Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。