論文の概要: Conformal Language Modeling

• arxiv url: http://arxiv.org/abs/2306.10193v2
• Date: Sat, 1 Jun 2024 21:40:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 21:20:11.240938
• Title: Conformal Language Modeling
• Title（参考訳）: コンフォーマル言語モデリング
• Authors: Victor Quach, Adam Fisch, Tal Schuster, Adam Yala, Jae Ho Sohn, Tommi S. Jaakkola, Regina Barzilay,
• Abstract要約: 生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
• 参考スコア（独自算出の注目度）: 61.94417935386489
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel approach to conformal prediction for generative language models (LMs). Standard conformal prediction produces prediction sets -- in place of single predictions -- that have rigorous, statistical performance guarantees. LM responses are typically sampled from the model's predicted distribution over the large, combinatorial output space of natural language. Translating this process to conformal prediction, we calibrate a stopping rule for sampling different outputs from the LM that get added to a growing set of candidates until we are confident that the output set is sufficient. Since some samples may be low-quality, we also simultaneously calibrate and apply a rejection rule for removing candidates from the output set to reduce noise. Similar to conformal prediction, we prove that the sampled set returned by our procedure contains at least one acceptable answer with high probability, while still being empirically precise (i.e., small) on average. Furthermore, within this set of candidate responses, we show that we can also accurately identify subsets of individual components -- such as phrases or sentences -- that are each independently correct (e.g., that are not "hallucinations"), again with statistical guarantees. We demonstrate the promise of our approach on multiple tasks in open-domain question answering, text summarization, and radiology report generation using different LM variants.
• Abstract（参考訳）: 本稿では,生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は、厳密で統計的な性能保証を持つ単一の予測の代わりに、予測セットを生成する。 LM応答は通常、自然言語の大規模な組合せ出力空間上のモデルの予測分布からサンプリングされる。 このプロセスを共形予測に変換し、出力セットが十分である確信になるまで、成長する候補セットに追加されるLMから異なる出力をサンプリングするための停止ルールを校正する。 いくつかのサンプルは低品質である可能性があるため、ノイズを低減するために出力セットから候補を除去するために同時に校正し、拒否規則を適用します。 共形予測と同様に、我々の手順によって返されるサンプル集合は、平均的には経験的正確(すなわち小さい)でありながら、高い確率で少なくとも1つの許容可能な解を含むことを証明している。 さらに、この一連の候補応答において、それぞれ独立に正しい個々のコンポーネント(句や文など)のサブセット(例えば、"幻覚"ではない)を統計的保証とともに正確に識別できることを示す。 我々は,オープンドメイン質問応答,テキスト要約,放射線学レポート生成において,異なるLM変種を用いた複数のタスクに対するアプローチの可能性を実証する。

関連論文リスト

• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号工程における多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法の本質的な能力を推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法の総合的な比較と,ユーザのガイドラインとして推奨されるパラメータについて紹介する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Language Models with Conformal Factuality Guarantees [44.767328168194815]
  コンフォーマルな事実性(conformal factuality)は、言語モデル(LM)出力に対する高い確率の正確性を保証するフレームワークである。 言語モデルにおける共形予測は,高い確率精度保証を提供するバックオフアルゴリズムに対応することを示す。
  論文  参考訳（メタデータ） (2024-02-15T18:31:53Z)
• Non-Exchangeable Conformal Language Generation with Nearest Neighbors [12.790082627386482]
  非交換性共形核サンプリングは、近接する隣人に基づく生成への共形予測フレームワークの新たな拡張である。 本手法は,任意のモデルに対して,余分なトレーニングを伴わずにポストホックで使用することができ,統計的保証を備えたトークンレベルの校正予測セットを提供する。
  論文  参考訳（メタデータ） (2024-02-01T16:04:04Z)
• Conformal Nucleus Sampling [67.5232384936661]
  最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。 OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
  論文  参考訳（メタデータ） (2023-05-04T08:11:57Z)
• Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
  ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。 本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T22:19:41Z)
• Selection by Prediction with Conformal p-values [7.917044695538599]
  本研究では,未観測結果がユーザ指定値を超える候補を選択するためのスクリーニング手順について検討する。 本研究では,任意の予測モデルをラップして候補のサブセットを生成する手法を開発した。
  論文  参考訳（メタデータ） (2022-10-04T06:34:49Z)
• Conformal Prediction Sets with Limited False Positives [43.596058175459746]
  提案手法は,有界な解数を持つ予測候補の正確なセットを出力することを目的として,多ラベル共形予測の新しい手法を開発する。 本稿では、自然言語処理、コンピュータビジョン、計算化学における様々な分類タスクにおけるこのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-15T18:52:33Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。