論文の概要: PAC Neural Prediction Set Learning to Quantify the Uncertainty of Generative Language Models

• arxiv url: http://arxiv.org/abs/2307.09254v1
• Date: Tue, 18 Jul 2023 13:36:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 14:33:56.143753
• Title: PAC Neural Prediction Set Learning to Quantify the Uncertainty of Generative Language Models
• Title（参考訳）: 生成言語モデルの不確かさを定量化するPACニューラル予測セット学習
• Authors: Sangdon Park and Taesoo Kim
• Abstract要約: 我々は、生成言語モデル(GLM)の不確かさを定量化するための、ほぼ正しい(PAC)保証を持つニューラルネットワーク予測セットモデルを学習する。 スカラー値でパラメータ化されている既存の予測セットモデルとは異なり、ニューラルネットワークによる予測セットのパラメータ化を提案する。 本手法は,標準基準法と比較して,定量化の不確かさを平均63%の値で改善することを示す。
• 参考スコア（独自算出の注目度）: 14.61061898015653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty learning and quantification of models are crucial tasks to enhance the trustworthiness of the models. Importantly, the recent surge of generative language models (GLMs) emphasizes the need for reliable uncertainty quantification due to the concerns on generating hallucinated facts. In this paper, we propose to learn neural prediction set models that comes with the probably approximately correct (PAC) guarantee for quantifying the uncertainty of GLMs. Unlike existing prediction set models, which are parameterized by a scalar value, we propose to parameterize prediction sets via neural networks, which achieves more precise uncertainty quantification but still satisfies the PAC guarantee. We demonstrate the efficacy of our method on four types of language datasets and six types of models by showing that our method improves the quantified uncertainty by $63\%$ on average, compared to a standard baseline method.
• Abstract（参考訳）: 不確実性学習とモデルの定量化は,モデルの信頼性を高める上で重要な課題である。 近年のジェネレーティブ言語モデル(GLM)の急激な増加は、幻覚的事実の生成に関する懸念から、確実な不確実性定量化の必要性を強調している。 本稿では,GLMの不確かさを定量化するためのほぼ正当性(PAC)を保証するニューラル予測セットモデルを学習することを提案する。 スカラー値によってパラメータ化される既存の予測セットモデルとは異なり、ニューラルネットワークによる予測セットのパラメータ化を提案し、より正確な不確実性定量化を実現するが、それでもPAC保証を満たす。 本研究では,4種類の言語データセットと6種類のモデルに対する本手法の有効性を,標準ベースライン法と比較して平均6,3\%の量化不確かさを平均6,3\%向上させることを示した。

関連論文リスト

• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Controlling Federated Learning for Covertness [15.878313629774269]
  学習者は、ノイズの多い勾配評価を提供する分散オラクルを何度もクエリすることで、関数の$f$を最小化することを目指している。 同時に、学習者は、学習者のクエリを監視する悪意のある盗聴者から$argmin f$を隠そうとする。 本稿では,学習者が学習と難読化のどちらを動的に選択するかという,textitcovert や textitlearner-private 最適化の問題について考察する。
  論文  参考訳（メタデータ） (2023-08-17T07:16:41Z)
• An Invariant Learning Characterization of Controlled Text Generation [25.033675230270212]
  制御生成(英語: Controlled generation)とは、興味のある文体や意味的な属性を含むテキストを作成する問題である。 ユーザプロンプトに応答するテキストの分布が、予測器がトレーニングした分布と異なる場合、制御された生成の性能は低下する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-05-31T21:35:08Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• AGGGEN: Ordering and Aggregating while Generating [12.845842212733695]
  本稿では,2つの明示的な文計画段階をニューラルデータ・トゥ・テキストシステムに再導入するデータ・ツー・テキスト・モデルAGGGENを提案する。 AGGGENは、入力表現とターゲットテキスト間の遅延アライメントを学習してテキストを生成すると同時に、文計画を実行する。
  論文  参考訳（メタデータ） (2021-06-10T08:14:59Z)
• Conditioned Text Generation with Transfer for Closed-Domain Dialogue Systems [65.48663492703557]
  条件付き変分オートエンコーダを用いて,意図特化文の生成を最適に学習し,制御する方法を示す。 クエリ転送と呼ばれる新しいプロトコルを導入し、大規模で遅延のないデータセットを活用できるようにします。
  論文  参考訳（メタデータ） (2020-11-03T14:06:10Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Rationalizing Text Matching: Learning Sparse Alignments via Optimal Transport [14.86310501896212]
  本研究では,この選択的合理化アプローチをテキストマッチングに拡張する。 目標は、下流の予測の正当化として、トークンや文などのテキストを共同で選択し、調整することである。 我々のアプローチでは、入力間の最小コストアライメントを見つけるために最適なトランスポート(OT)を採用している。
  論文  参考訳（メタデータ） (2020-05-27T01:20:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。