論文の概要: Uncertainty-Aware Natural Language Inference with Stochastic Weight
Averaging
- arxiv url: http://arxiv.org/abs/2304.04726v1
- Date: Mon, 10 Apr 2023 17:37:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 14:15:59.746681
- Title: Uncertainty-Aware Natural Language Inference with Stochastic Weight
Averaging
- Title(参考訳): 確率重み平均化を用いた不確実性を考慮した自然言語推論
- Authors: Aarne Talman, Hande Celikkanat, Sami Virpioja, Markus Heinonen, J\"org
Tiedemann
- Abstract要約: 本稿では,自然言語理解(NLU)タスクにおけるウェイト平均ガウス(SWAG)を用いたベイズ的不確実性モデリングを提案する。
提案手法の有効性を,ヒトのアノテーションの不一致に対する予測精度と相関性の観点から示す。
- 参考スコア(独自算出の注目度): 8.752563431501502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces Bayesian uncertainty modeling using Stochastic Weight
Averaging-Gaussian (SWAG) in Natural Language Understanding (NLU) tasks. We
apply the approach to standard tasks in natural language inference (NLI) and
demonstrate the effectiveness of the method in terms of prediction accuracy and
correlation with human annotation disagreements. We argue that the uncertainty
representations in SWAG better reflect subjective interpretation and the
natural variation that is also present in human language understanding. The
results reveal the importance of uncertainty modeling, an often neglected
aspect of neural language modeling, in NLU tasks.
- Abstract(参考訳): 本稿では,自然言語理解(NLU)タスクにおけるStochastic Weight Averaging-Gaussian(SWAG)を用いたベイズ的不確実性モデリングを提案する。
本手法を自然言語推論 (nli) の標準タスクに適用し, 予測精度と人間のアノテーションの不一致との相関性の観点から, 手法の有効性を実証する。
我々は、SWAGにおける不確実性表現は、人間の言語理解にも見られる主観的解釈と自然変化をよりよく反映していると論じる。
その結果、NLUタスクにおいて、しばしば無視されるニューラルネットワークモデリングの側面である不確実性モデリングの重要性が明らかになった。
関連論文リスト
- Uncertainty Decomposition and Quantification for In-Context Learning of
Large Language Models [54.18411645870683]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳(メタデータ) (2024-02-15T18:46:24Z) - Linguistically Communicating Uncertainty in Patient-Facing Risk
Prediction Models [5.943325136516882]
リスク予測の文脈において、自然言語を用いたコミュニケーションモデルの性能、信頼性、推論、未知の未知の知識の課題を特定する。
本研究では,これらの課題に対処するための設計を提案し,環境内受精結果予測の具体的適用に焦点をあてる。
論文 参考訳(メタデータ) (2024-01-31T00:08:44Z) - Improving the Reliability of Large Language Models by Leveraging
Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している
本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-07T12:06:53Z) - PAC Neural Prediction Set Learning to Quantify the Uncertainty of
Generative Language Models [14.61061898015653]
我々は、生成言語モデル(GLM)の不確かさを定量化するための、ほぼ正しい(PAC)保証を持つニューラルネットワーク予測セットモデルを学習する。
スカラー値でパラメータ化されている既存の予測セットモデルとは異なり、ニューラルネットワークによる予測セットのパラメータ化を提案する。
本手法は,標準基準法と比較して,定量化の不確かさを平均63%の値で改善することを示す。
論文 参考訳(メタデータ) (2023-07-18T13:36:24Z) - KNOW How to Make Up Your Mind! Adversarially Detecting and Alleviating
Inconsistencies in Natural Language Explanations [52.33256203018764]
不整合性NLEを検出するために既存の敵攻撃を大幅に改善するために,外部知識ベースを活用する。
高いNLE品質のモデルが必ずしも矛盾を生じさせるとは限らないことを示す。
論文 参考訳(メタデータ) (2023-06-05T15:51:58Z) - Uncertainty in Natural Language Processing: Sources, Quantification, and
Applications [56.130945359053776]
NLP分野における不確実性関連作業の総合的なレビューを行う。
まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。
我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
論文 参考訳(メタデータ) (2023-06-05T06:46:53Z) - Integrating Uncertainty into Neural Network-based Speech Enhancement [27.868722093985006]
時間周波数領域における監視されたマスキングアプローチは、ディープニューラルネットワークを使用して乗法マスクを推定し、クリーンな音声を抽出することを目的としている。
これにより、信頼性の保証や尺度を使わずに、各入力に対する単一の見積もりが導かれる。
クリーン音声推定における不確実性モデリングの利点について検討する。
論文 参考訳(メタデータ) (2023-05-15T15:55:12Z) - Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。
出力予測が大幅に変化する特徴を最適化する。
本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
論文 参考訳(メタデータ) (2023-05-03T14:48:27Z) - The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。
我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文 参考訳(メタデータ) (2022-05-20T10:10:32Z) - Learning Causal Semantic Representation for Out-of-Distribution
Prediction [125.38836464226092]
因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。
CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
論文 参考訳(メタデータ) (2020-11-03T13:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。