論文の概要: Improving the Calibration of Confidence Scores in Text Generation Using the Output Distribution's Characteristics

• arxiv url: http://arxiv.org/abs/2506.00637v1
• Date: Sat, 31 May 2025 17:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.381517
• Title: Improving the Calibration of Confidence Scores in Text Generation Using the Output Distribution's Characteristics
• Title（参考訳）: 出力分布特性を用いたテキスト生成における信頼スコアの校正の改善
• Authors: Lorenzo Jaime Yu Flores, Ori Ernst, Jackie Chi Kit Cheung,
• Abstract要約: よく校正されたモデル信頼スコアは、テキスト生成モデルの有用性を向上させることができる。 生成に適したタスク非依存の信頼性指標を提案する。
• 参考スコア（独自算出の注目度）: 20.28986622627476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Well-calibrated model confidence scores can improve the usefulness of text generation models. For example, users can be prompted to review predictions with low confidence scores, to prevent models from returning bad or potentially dangerous predictions. However, confidence metrics are not always well calibrated in text generation. One reason is that in generation, there can be many valid answers, which previous methods do not always account for. Hence, a confident model could distribute its output probability among multiple sequences because they are all valid. We propose task-agnostic confidence metrics suited to generation, which rely solely on the probabilities associated with the model outputs without the need for further fine-tuning or heuristics. Using these, we are able to improve the calibration of BART and Flan-T5 on summarization, translation, and QA datasets.
• Abstract（参考訳）: よく校正されたモデル信頼スコアは、テキスト生成モデルの有用性を向上させることができる。 例えば、モデルが悪または潜在的に危険な予測を返すのを防ぐために、ユーザは信頼性の低い予測をレビューするように促すことができる。 しかし、信頼度はテキスト生成において常に適切に調整されているとは限らない。 理由の1つは、世代内には有効な回答が多数存在し、それ以前の方法が常に考慮しているとは限らないことである。 したがって、自信のあるモデルは出力確率を複数のシーケンスに分散することができる。 本稿では,モデル出力に関連する確率に頼らずに,さらなる微調整やヒューリスティックスを必要としない,生成に適したタスク非依存の信頼性指標を提案する。 これらを用いて、要約、翻訳、QAデータセットにおけるBARTとFlan-T5の校正を改善することができる。

関連論文リスト

• Few-Shot Recalibration of Language Models [23.829795148520834]
  我々は、任意のスライスからラベルのない例をいくつか取り込んだリカレーションモデルをトレーニングし、信頼度スコアをそのスライスに対してより正確なものに再マップする曲線を予測する。 我々の訓練されたモデルは、そのスライスからラベル付きデータを使わずに、任意の新しいスライスのために再調整できる。 実験により、我々の数発の再校正器は既存の校正方法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-27T06:25:40Z)
• Non-Exchangeable Conformal Language Generation with Nearest Neighbors [12.790082627386482]
  非交換性共形核サンプリングは、近接する隣人に基づく生成への共形予測フレームワークの新たな拡張である。 本手法は,任意のモデルに対して,余分なトレーニングを伴わずにポストホックで使用することができ,統計的保証を備えたトークンレベルの校正予測セットを提供する。
  論文  参考訳（メタデータ） (2024-02-01T16:04:04Z)
• Predicting generalization performance with correctness discriminators [56.948321040125734]
  未確認データに対して,金のラベルを必要とせず,精度の上下境界を確立する新しいモデルを提案する。 予測された上境界と下限の間に金の精度が確実に成立する様々なタグ付け、構文解析、意味解析タスクを示す。
  論文  参考訳（メタデータ） (2023-11-15T22:43:42Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)
• How Does Beam Search improve Span-Level Confidence Estimation in Generative Sequence Labeling? [11.481435098152893]
  本稿では,生成配列ラベリングにおけるモデル信頼度の推定に関する実証的な知見を提供する。 6つの公開データセットで検証した結果,提案手法は生成配列ラベルモデルのキャリブレーション誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2022-12-21T05:01:01Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。