論文の概要: On Uncertainty In Natural Language Processing
- arxiv url: http://arxiv.org/abs/2410.03446v1
- Date: Fri, 4 Oct 2024 14:08:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 22:19:23.229193
- Title: On Uncertainty In Natural Language Processing
- Title（参考訳）: 自然言語処理の不確かさについて
- Authors: Dennis Ulmer,
- Abstract要約: この論文は、自然言語処理における不確実性が言語的、統計的、神経的な観点からどのように特徴づけられるかを研究する。
本研究では,非交換不能な共形予測に基づく自然言語生成における校正サンプリング手法を提案する。
最後に,補助予測器を用いた大規模ブラックボックス言語モデルの信頼性の定量化手法を開発した。
- 参考スコア（独自算出の注目度）: 2.5076643086429993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The last decade in deep learning has brought on increasingly capable systems that are deployed on a wide variety of applications. In natural language processing, the field has been transformed by a number of breakthroughs including large language models, which are used in increasingly many user-facing applications. In order to reap the benefits of this technology and reduce potential harms, it is important to quantify the reliability of model predictions and the uncertainties that shroud their development. This thesis studies how uncertainty in natural language processing can be characterized from a linguistic, statistical and neural perspective, and how it can be reduced and quantified through the design of the experimental pipeline. We further explore uncertainty quantification in modeling by theoretically and empirically investigating the effect of inductive model biases in text classification tasks. The corresponding experiments include data for three different languages (Danish, English and Finnish) and tasks as well as a large set of different uncertainty quantification approaches. Additionally, we propose a method for calibrated sampling in natural language generation based on non-exchangeable conformal prediction, which provides tighter token sets with better coverage of the actual continuation. Lastly, we develop an approach to quantify confidence in large black-box language models using auxiliary predictors, where the confidence is predicted from the input to and generated output text of the target model alone.
- Abstract（参考訳）: ディープラーニングの過去10年で、さまざまなアプリケーションにデプロイされる、ますます有能なシステムが生まれました。
自然言語処理において、この分野は大きな言語モデルを含む多くのブレークスルーによって変革され、ますます多くのユーザ向けアプリケーションで使われている。
この技術の利点を享受し、潜在的な害を軽減するためには、モデル予測の信頼性と、その開発を妨げた不確実性を定量化することが重要である。
この論文は、自然言語処理の不確実性が言語的、統計的、神経的な視点からどのように特徴づけられるか、そして、実験パイプラインの設計を通してそれを減らし、定量化する方法について研究する。
さらに,テキスト分類タスクにおける帰納的モデルバイアスの効果を理論的かつ実験的に検討することにより,モデリングにおける不確実性定量化について検討する。
対応する実験には、3つの異なる言語(デンマーク語、英語、フィンランド語)とタスクのデータと、異なる不確実性定量化アプローチの大規模なセットが含まれる。
さらに,非交換不能な共形予測に基づく自然言語生成における校正サンプリング手法を提案する。
最後に、補助予測器を用いて、大規模ブラックボックス言語モデルの信頼度を定量化する手法を開発し、ターゲットモデルの出力テキストへの入力から信頼度を予測する。
関連論文リスト
- Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。
検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。
言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文 参考訳（メタデータ） (2024-10-22T09:25:21Z) - Conformal Prediction for Natural Language Processing: A Survey [23.638214012459425]
コンフォーマル予測は理論的に健全で実用的なフレームワークとして現れている。
そのモデルに依存しない分布のない性質は、特にNLPシステムの現在の欠点に対処することを約束している。
本稿では,共形予測手法とその保証,およびNLPにおける既存応用に関する包括的調査を行う。
論文 参考訳（メタデータ） (2024-05-03T10:00:45Z) - The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text [29.586404361715054]
本研究では,前任者が生成した合成データに対する学習言語モデルの影響について検討した。
その結果,連続反復によるモデル出力の多様性の連続的な低下が明らかとなった。
本研究は,言語モデルの言語能力に対する訓練手法の長期的影響を慎重に検討することの必要性を強調した。
論文 参考訳（メタデータ） (2023-11-16T11:31:50Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - CUE: An Uncertainty Interpretation Framework for Text Classifiers Built
on Pre-Trained Language Models [28.750894873827068]
本稿では,PLMモデルに固有の不確かさを解釈することを目的とした,CUEと呼ばれる新しいフレームワークを提案する。
摂動と原文表現の予測不確実性の違いを比較することにより,不確実性の原因となる潜伏次元を同定することができる。
論文 参考訳（メタデータ） (2023-06-06T11:37:46Z) - Uncertainty in Natural Language Processing: Sources, Quantification, and
Applications [56.130945359053776]
NLP分野における不確実性関連作業の総合的なレビューを行う。
まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。
我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
論文 参考訳（メタデータ） (2023-06-05T06:46:53Z) - Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。
出力予測が大幅に変化する特徴を最適化する。
本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
論文 参考訳（メタデータ） (2023-05-03T14:48:27Z) - Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。
言語生成に適用するための実践的境界を開発する。
本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文 参考訳（メタデータ） (2023-02-26T16:32:52Z) - On the Reliability and Explainability of Language Models for Program
Generation [15.569926313298337]
自動プログラム生成手法の能力と限界について検討する。
私たちは、コード変換に大きく貢献するトークンを強調するために、高度な説明可能なAIアプローチを採用しています。
解析の結果,言語モデルではコード文法や構造情報を認識できるが,入力シーケンスの変化に対するロバスト性は限られていることがわかった。
論文 参考訳（メタデータ） (2023-02-19T14:59:52Z) - Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。
パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。
自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
論文 参考訳（メタデータ） (2022-03-24T01:09:46Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。