論文の概要: Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation
in Natural Language Generation
- arxiv url: http://arxiv.org/abs/2302.09664v1
- Date: Sun, 19 Feb 2023 20:10:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 17:14:19.544687
- Title: Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation
in Natural Language Generation
- Title(参考訳): 意味的不確かさ:自然言語生成における不確かさ推定のための言語的不変性
- Authors: Lorenz Kuhn, Yarin Gal, Sebastian Farquhar
- Abstract要約: 大規模言語モデルにおける不確実性を測定する手法を提案する。
質問応答のようなタスクでは、ファンデーションモデルの自然言語出力をいつ信頼できるかを知ることが不可欠である。
「自然言語の不確実性の測定は意味的等価性のため困難である。」
- 参考スコア(独自算出の注目度): 37.37606905433334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a method to measure uncertainty in large language models. For
tasks like question answering, it is essential to know when we can trust the
natural language outputs of foundation models. We show that measuring
uncertainty in natural language is challenging because of `semantic
equivalence' -- different sentences can mean the same thing. To overcome these
challenges we introduce semantic entropy -- an entropy which incorporates
linguistic invariances created by shared meanings. Our method is unsupervised,
uses only a single model, and requires no modifications to `off-the-shelf'
language models. In comprehensive ablation studies we show that the semantic
entropy is more predictive of model accuracy on question answering data sets
than comparable baselines.
- Abstract(参考訳): 大規模言語モデルにおける不確実性を測定する手法を提案する。
質問応答のようなタスクでは、基礎モデルの自然言語出力をいつ信頼できるかを知ることが不可欠である。
自然言語における不確実性を測定することは「意味的同値性」によって困難であることが示され、異なる文が同じ意味を持つ可能性がある。これらの課題を克服するためには、共通意味によって生成された言語的不変性を組み込んだ意味的エントロピーを導入する。
我々の手法は教師なしであり、単一のモデルのみを使用し、 'off-the-shelf'言語モデルを変更する必要はない。
包括的アブレーション研究において,semantic entropyは,質問応答データセットにおけるモデルの精度を,同等のベースラインよりも予測できることを示した。
関連論文リスト
- Distinguishing the Knowable from the Unknowable with Language Models [15.471748481627143]
地中真理確率の欠如において、与えられた不確実性を解き放つために、より大きなモデルが地中真理の代用として現れるような設定を探索する。
凍結, 事前訓練されたモデルの埋め込みを訓練した小さな線形プローブが, トークンレベルでより大きなモデルがより自信を持つようになる時期を正確に予測することを示した。
我々は,同じタスクにおいて非自明な精度を実現する,完全に教師なしの手法を提案する。
論文 参考訳(メタデータ) (2024-02-05T22:22:49Z) - Uncertainty-Aware Natural Language Inference with Stochastic Weight
Averaging [8.752563431501502]
本稿では,自然言語理解(NLU)タスクにおけるウェイト平均ガウス(SWAG)を用いたベイズ的不確実性モデリングを提案する。
提案手法の有効性を,ヒトのアノテーションの不一致に対する予測精度と相関性の観点から示す。
論文 参考訳(メタデータ) (2023-04-10T17:37:23Z) - Language Models as Inductive Reasoners [125.99461874008703]
本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。
タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。
我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
論文 参考訳(メタデータ) (2022-12-21T11:12:14Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳(メタデータ) (2022-10-14T02:35:19Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Provable Limitations of Acquiring Meaning from Ungrounded Form: What
will Future Language Models Understand? [87.20342701232869]
未知のシステムが意味を習得する能力について検討する。
アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。
言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。
しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
論文 参考訳(メタデータ) (2021-04-22T01:00:17Z) - Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。
我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文 参考訳(メタデータ) (2020-12-30T20:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。