Fugu-MT 論文翻訳(概要): Uncertainty-Aware Natural Language Inference with Stochastic Weight Averaging

論文の概要: Uncertainty-Aware Natural Language Inference with Stochastic Weight Averaging

arxiv url: http://arxiv.org/abs/2304.04726v1
Date: Mon, 10 Apr 2023 17:37:23 GMT
ステータス: 処理完了
システム内更新日: 2023-04-11 14:15:59.746681
Title: Uncertainty-Aware Natural Language Inference with Stochastic Weight Averaging
Title（参考訳）: 確率重み平均化を用いた不確実性を考慮した自然言語推論
Authors: Aarne Talman, Hande Celikkanat, Sami Virpioja, Markus Heinonen, J\"org Tiedemann
Abstract要約: 本稿では,自然言語理解(NLU)タスクにおけるウェイト平均ガウス(SWAG)を用いたベイズ的不確実性モデリングを提案する。提案手法の有効性を,ヒトのアノテーションの不一致に対する予測精度と相関性の観点から示す。
参考スコア（独自算出の注目度）: 8.752563431501502
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces Bayesian uncertainty modeling using Stochastic Weight Averaging-Gaussian (SWAG) in Natural Language Understanding (NLU) tasks. We apply the approach to standard tasks in natural language inference (NLI) and demonstrate the effectiveness of the method in terms of prediction accuracy and correlation with human annotation disagreements. We argue that the uncertainty representations in SWAG better reflect subjective interpretation and the natural variation that is also present in human language understanding. The results reveal the importance of uncertainty modeling, an often neglected aspect of neural language modeling, in NLU tasks.
Abstract（参考訳）: 本稿では,自然言語理解(NLU)タスクにおけるStochastic Weight Averaging-Gaussian(SWAG)を用いたベイズ的不確実性モデリングを提案する。本手法を自然言語推論 (nli) の標準タスクに適用し, 予測精度と人間のアノテーションの不一致との相関性の観点から, 手法の有効性を実証する。我々は、SWAGにおける不確実性表現は、人間の言語理解にも見られる主観的解釈と自然変化をよりよく反映していると論じる。その結果、NLUタスクにおいて、しばしば無視されるニューラルネットワークモデリングの側面である不確実性モデリングの重要性が明らかになった。

関連論文リスト

On Uncertainty In Natural Language Processing [2.5076643086429993]
この論文は、自然言語処理における不確実性が言語的、統計的、神経的な観点からどのように特徴づけられるかを研究する。本研究では,非交換不能な共形予測に基づく自然言語生成における校正サンプリング手法を提案する。最後に,補助予測器を用いた大規模ブラックボックス言語モデルの信頼性の定量化手法を開発した。
論文参考訳（メタデータ） (2024-10-04T14:08:02Z)
Finetuning Language Models to Emit Linguistic Expressions of Uncertainty [5.591074369497796]
大規模言語モデル(LLM)は情報検索や意思決定のタスクにますます採用されている。 LLMは現実世界の事実と矛盾する情報を生成する傾向があり、その説得的なスタイルはこれらの不正確さを自信と説得力に見せかける。本研究では,不確実性の言語表現を生成するモデルを開発する手法として,不確実性拡張予測の教師付き微調整について検討する。
論文参考訳（メタデータ） (2024-09-18T17:52:53Z)
On Subjective Uncertainty Quantification and Calibration in Natural Language Generation [2.622066970118316]
大規模言語モデルは多くの場合、不確実な定量化が困難になるような自由形式の応答を生成する。この研究はベイズ決定論の観点からこれらの課題に対処する。本稿では,モデルの主観的不確実性とそのキャリブレーションを原理的に定量化する方法について論じる。提案手法はブラックボックス言語モデルに適用できる。
論文参考訳（メタデータ） (2024-06-07T18:54:40Z)
Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
論文参考訳（メタデータ） (2024-05-30T12:42:05Z)
Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。本稿では,LLMのための不確実性分解フレームワークについて述べる。提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文参考訳（メタデータ） (2023-11-15T05:58:35Z)
Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-07T12:06:53Z)
KNOW How to Make Up Your Mind! Adversarially Detecting and Alleviating Inconsistencies in Natural Language Explanations [52.33256203018764]
不整合性NLEを検出するために既存の敵攻撃を大幅に改善するために,外部知識ベースを活用する。高いNLE品質のモデルが必ずしも矛盾を生じさせるとは限らないことを示す。
論文参考訳（メタデータ） (2023-06-05T15:51:58Z)
Uncertainty in Natural Language Processing: Sources, Quantification, and Applications [56.130945359053776]
NLP分野における不確実性関連作業の総合的なレビューを行う。まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
論文参考訳（メタデータ） (2023-06-05T06:46:53Z)
Integrating Uncertainty into Neural Network-based Speech Enhancement [27.868722093985006]
時間周波数領域における監視されたマスキングアプローチは、ディープニューラルネットワークを使用して乗法マスクを推定し、クリーンな音声を抽出することを目的としている。これにより、信頼性の保証や尺度を使わずに、各入力に対する単一の見積もりが導かれる。クリーン音声推定における不確実性モデリングの利点について検討する。
論文参考訳（メタデータ） (2023-05-15T15:55:12Z)
Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。出力予測が大幅に変化する特徴を最適化する。本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
論文参考訳（メタデータ） (2023-05-03T14:48:27Z)
Learning Causal Semantic Representation for Out-of-Distribution Prediction [125.38836464226092]
因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。 CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
論文参考訳（メタデータ） (2020-11-03T13:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。