論文の概要: Non-Exchangeable Conformal Language Generation with Nearest Neighbors
- arxiv url: http://arxiv.org/abs/2402.00707v1
- Date: Thu, 1 Feb 2024 16:04:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 14:50:58.182034
- Title: Non-Exchangeable Conformal Language Generation with Nearest Neighbors
- Title(参考訳): 隣り合う非交換型コンフォーマル言語生成
- Authors: Dennis Ulmer, Chrysoula Zerva, Andr\'e F.T. Martins
- Abstract要約: 非交換性共形核サンプリングは、近接する隣人に基づく生成への共形予測フレームワークの新たな拡張である。
本手法は,任意のモデルに対して,余分なトレーニングを伴わずにポストホックで使用することができ,統計的保証を備えたトークンレベルの校正予測セットを提供する。
- 参考スコア(独自算出の注目度): 12.790082627386482
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quantifying uncertainty in automatically generated text is important for
letting humans check potential hallucinations and making systems more reliable.
Conformal prediction is an attractive framework to provide predictions imbued
with statistical guarantees, however, its application to text generation is
challenging since any i.i.d. assumptions are not realistic. In this paper, we
bridge this gap by leveraging recent results on non-exchangeable conformal
prediction, which still ensures bounds on coverage. The result,
non-exchangeable conformal nucleus sampling, is a novel extension of the
conformal prediction framework to generation based on nearest neighbors. Our
method can be used post-hoc for an arbitrary model without extra training and
supplies token-level, calibrated prediction sets equipped with statistical
guarantees. Experiments in machine translation and language modeling show
encouraging results in generation quality. By also producing tighter prediction
sets with good coverage, we thus give a more theoretically principled way to
perform sampling with conformal guarantees.
- Abstract(参考訳): 自動生成テキストの不確かさを定量化することは、人間が潜在的な幻覚をチェックし、システムをより信頼できるものにするために重要である。
コンフォーマル予測は統計的保証を付与した予測を提供する魅力的なフレームワークであるが、任意のi.d.仮定が現実的ではないため、テキスト生成への応用は困難である。
本稿では,非交換性共形予測の最近の結果を活用することで,このギャップを解消する。
その結果、非交換性共形核サンプリングは、近接近傍に基づく共形予測フレームワークから生成への新しい拡張である。
本手法は,任意のモデルに対して,余分なトレーニングを伴わずにポストホックで使用することができ,統計的保証を備えたトークンレベルの校正予測セットを提供する。
機械翻訳と言語モデリングの実験は、生成品質の促進効果を示している。
適切なカバレッジを持つより厳密な予測セットを作成することにより、より理論的に原理的な方法で、共形保証でサンプリングを行うことができる。
関連論文リスト
- Regression Trees for Fast and Adaptive Prediction Intervals [2.6763498831034043]
本稿では,局所的なカバレッジ保証を伴う回帰問題に対して,予測間隔を調整するための一連の手法を提案する。
回帰木とランダムフォレストを適合度スコアでトレーニングすることで分割を作成する。
提案手法は多種多様な適合性スコアや予測設定に適用できるため,多種多様である。
論文 参考訳(メタデータ) (2024-02-12T01:17:09Z) - Predicting generalization performance with correctness discriminators [64.00420578048855]
未確認データに対して,金のラベルを必要とせず,精度の上下境界を確立する新しいモデルを提案する。
予測された上境界と下限の間に金の精度が確実に成立する様々なタグ付け、構文解析、意味解析タスクを示す。
論文 参考訳(メタデータ) (2023-11-15T22:43:42Z) - Conformal Language Modeling [63.69391255926407]
生成言語モデル(LM)の共形予測のための新しい手法を提案する。
標準共形予測は厳密で統計的に保証された予測セットを生成する。
我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
論文 参考訳(メタデータ) (2023-06-16T21:55:08Z) - Conformalizing Machine Translation Evaluation [9.89901717499058]
近年,機械翻訳評価のための不確実性推定手法が提案されている。
モデルの不確実性を過小評価する傾向があり、結果として、基礎的な真実をカバーしない誤った信頼区間をしばしば生み出す。
本稿では,共形予測(conformal prediction)の代替として,理論的に確立されたカバレッジ保証付き信頼区間を求める分布自由化手法を提案する。
論文 参考訳(メタデータ) (2023-06-09T19:36:18Z) - Federated Conformal Predictors for Distributed Uncertainty
Quantification [83.50609351513886]
コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。
本稿では,共形予測を連邦学習環境に拡張する。
本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
論文 参考訳(メタデータ) (2023-05-27T19:57:27Z) - Distribution-Free Finite-Sample Guarantees and Split Conformal
Prediction [0.0]
分割共形予測は、最小分布自由仮定の下で有限サンプル保証を得るための有望な道を表す。
1940年代に開発された分割共形予測と古典的寛容予測との関連性を強調した。
論文 参考訳(メタデータ) (2022-10-26T14:12:24Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳(メタデータ) (2022-10-01T02:57:37Z) - Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。
理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
論文 参考訳(メタデータ) (2022-06-09T10:39:33Z) - Practical Adversarial Multivalid Conformal Prediction [27.179891682629183]
逐次予測のための一般的な共形予測法を提案する。
相手が選択したデータに対して、ターゲットの実証的カバレッジを保証する。
これは計算的に軽量であり、分割共形予測に匹敵する。
論文 参考訳(メタデータ) (2022-06-02T14:33:00Z) - Prediction Sets Adaptive to Unknown Covariate Shift [18.105704797438417]
有限サンプル被覆保証付き予測集合は非形式的であることを示す。
そこで我々は,予測セットを効率的に構築する,新しいフレキシブルな分散フリー手法PredSet-1Stepを提案する。
論文 参考訳(メタデータ) (2022-03-11T17:53:14Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳(メタデータ) (2021-02-11T18:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。