論文の概要: Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks

• arxiv url: http://arxiv.org/abs/2407.02138v1
• Date: Tue, 2 Jul 2024 10:33:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 15:55:01.090928
• Title: Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks
• Title（参考訳）: 自然言語処理タスクにおける近接近傍の効率の良い不確実性推定
• Authors: Wataru Hashimoto, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: $k$-Nearest Neearbor Uncertainty Estimation (k$NN-UE) は、隣人からの距離と、隣人のラベル存在率を利用する不確実性推定手法である。 実験の結果,提案手法は信頼性校正,選択予測,分布外検出において,ベースラインや最近の密度に基づく手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 26.336947440529713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trustworthy prediction in Deep Neural Networks (DNNs), including Pre-trained Language Models (PLMs) is important for safety-critical applications in the real world. However, DNNs often suffer from uncertainty estimation, such as miscalibration. In particular, approaches that require multiple stochastic inference can mitigate this problem, but the expensive cost of inference makes them impractical. In this study, we propose $k$-Nearest Neighbor Uncertainty Estimation ($k$NN-UE), which is an uncertainty estimation method that uses the distances from the neighbors and label-existence ratio of neighbors. Experiments on sentiment analysis, natural language inference, and named entity recognition show that our proposed method outperforms the baselines or recent density-based methods in confidence calibration, selective prediction, and out-of-distribution detection. Moreover, our analyses indicate that introducing dimension reduction or approximate nearest neighbor search inspired by recent $k$NN-LM studies reduces the inference overhead without significantly degrading estimation performance when combined them appropriately.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)を含むディープニューラルネットワーク(DNN)の信頼できる予測は、現実世界の安全クリティカルなアプリケーションにとって重要である。 しかし、DNNは誤校正などの不確実性評価に悩まされることが多い。 特に、複数の確率的推論を必要とするアプローチはこの問題を軽減することができるが、高価な推論コストはそれらを非現実的なものにする。 本研究では,近隣住民からの距離と近隣住民のラベル存在率を利用した不確実性推定手法であるk$Nearest Neearbor Uncertainty Estimation(k$NN-UE)を提案する。 感情分析,自然言語推論,名前付きエンティティ認識実験の結果,提案手法は信頼度校正,選択予測,分布外検出において,ベースラインや最近の密度に基づく手法よりも優れていた。 さらに,最近の$k$NN-LM研究にインスパイアされた,次元の縮小や近接した近傍探索の導入により,推定性能を適切に向上させることなく,推定オーバーヘッドを低減できることが示唆された。

関連論文リスト

• Confidence Intervals and Simultaneous Confidence Bands Based on Deep Learning [0.36832029288386137]
  本手法は, 適用された最適化アルゴリズムに固有の雑音からデータの不確実性を正しく解き放つことのできる, 有効な非パラメトリックブートストラップ法である。 提案したアドホック法は、トレーニングプロセスに干渉することなく、ディープニューラルネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2024-06-20T05:51:37Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Uncertainty-Aware Lidar Place Recognition in Novel Environments [11.30020653282995]
  本研究では,不確実性を考慮したライダー位置認識の課題について検討する。 各予測された場所は、誤った予測を識別し拒否するために使用できる関連する不確実性を持つ必要がある。 我々は新しい評価プロトコルを導入し、このタスクのための最初の総合的なベンチマークを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:06:44Z)
• On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks [11.929914721626849]
  我々は,現在最先端の不確実性推定アルゴリズムが,我々の提案した敵攻撃の下で破滅的に失敗する可能性を示唆した。 特に、領域外不確実性推定を攻撃することを目的としている。
  論文  参考訳（メタデータ） (2022-10-03T23:33:38Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Adversarial Attack for Uncertainty Estimation: Identifying Critical Regions in Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける決定境界付近のデータポイントをキャプチャする手法を提案する。 不確実性推定は、モデルのパラメータに摂動を与える以前の研究とは異なり、入力摂動から導かれる。 提案手法は,他の手法よりも優れた性能を示し,機械学習におけるモデル不確実性を捉えるリスクが低いことを示した。
  論文  参考訳（メタデータ） (2021-07-15T21:30:26Z)
• The Aleatoric Uncertainty Estimation Using a Separate Formulation with Virtual Residuals [51.71066839337174]
  既存の手法では、ターゲット推定における誤差を定量化できるが、過小評価する傾向がある。 本稿では,信号とその不確かさを推定するための新たな分離可能な定式化を提案し,オーバーフィッティングの影響を回避した。 提案手法は信号および不確実性推定のための最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-03T12:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。