論文の概要: Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks

• arxiv url: http://arxiv.org/abs/2407.02138v2
• Date: Thu, 06 Feb 2025 17:32:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:31:01.453009
• Title: Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks
• Title（参考訳）: 自然言語処理タスクにおける近接近傍の効率の良い不確実性推定
• Authors: Wataru Hashimoto, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: モデル予測の信頼性は、現実世界の安全クリティカルなアプリケーションには不可欠である。 ディープニューラルネットワークは、誤校正などの不確実性推定の問題に悩まされることが多い。 我々は、近隣住民からの距離だけでなく、近隣住民のラベルの比率を用いて、最も近い隣人不確実性推定(k$NN-UE)を提案する。
• 参考スコア（独自算出の注目度）: 26.336947440529713
• License:
• Abstract: Trustworthiness in model predictions is crucial for safety-critical applications in the real world. However, deep neural networks often suffer from the issues of uncertainty estimation, such as miscalibration. In this study, we propose $k$-Nearest Neighbor Uncertainty Estimation ($k$NN-UE), which is a new uncertainty estimation method that uses not only the distances from the neighbors, but also the ratio of labels in the neighbors. Experiments on sentiment analysis, natural language inference, and named entity recognition show that our proposed method outperforms the baselines and recent density-based methods in several calibration and uncertainty metrics. Moreover, our analyses indicate that approximate nearest neighbor search techniques reduce the inference overhead without significantly degrading the uncertainty estimation performance when they are appropriately combined.
• Abstract（参考訳）: モデル予測の信頼性は、現実世界の安全クリティカルなアプリケーションには不可欠である。 しかし、ディープニューラルネットワークは、誤校正などの不確実性推定の問題に悩まされることが多い。 本研究では,近隣住民からの距離だけでなく,近隣住民のラベルの比率も考慮した新しい不確実性推定手法であるk$Nearest Neearbor Uncertainty Estimation(k$NN-UE)を提案する。 感情分析,自然言語推論,名前付きエンティティ認識実験により,提案手法は,いくつかのキャリブレーションおよび不確実性指標において,ベースラインおよび最近の密度ベース手法よりも優れた性能を示した。 さらに, 近似近傍探索手法は, 適切に組み合わせた場合, 不確実性推定性能を著しく低下させることなく, 推定オーバーヘッドを低減できることが示唆された。

関連論文リスト

• Confidence Intervals and Simultaneous Confidence Bands Based on Deep Learning [0.36832029288386137]
  本手法は, 適用された最適化アルゴリズムに固有の雑音からデータの不確実性を正しく解き放つことのできる, 有効な非パラメトリックブートストラップ法である。 提案したアドホック法は、トレーニングプロセスに干渉することなく、ディープニューラルネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2024-06-20T05:51:37Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Uncertainty-Aware Lidar Place Recognition in Novel Environments [11.30020653282995]
  本研究では,不確実性を考慮したライダー位置認識の課題について検討する。 各予測された場所は、誤った予測を識別し拒否するために使用できる関連する不確実性を持つ必要がある。 我々は新しい評価プロトコルを導入し、このタスクのための最初の総合的なベンチマークを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:06:44Z)
• On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks [11.929914721626849]
  我々は,現在最先端の不確実性推定アルゴリズムが,我々の提案した敵攻撃の下で破滅的に失敗する可能性を示唆した。 特に、領域外不確実性推定を攻撃することを目的としている。
  論文  参考訳（メタデータ） (2022-10-03T23:33:38Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Adversarial Attack for Uncertainty Estimation: Identifying Critical Regions in Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける決定境界付近のデータポイントをキャプチャする手法を提案する。 不確実性推定は、モデルのパラメータに摂動を与える以前の研究とは異なり、入力摂動から導かれる。 提案手法は,他の手法よりも優れた性能を示し,機械学習におけるモデル不確実性を捉えるリスクが低いことを示した。
  論文  参考訳（メタデータ） (2021-07-15T21:30:26Z)
• The Aleatoric Uncertainty Estimation Using a Separate Formulation with Virtual Residuals [51.71066839337174]
  既存の手法では、ターゲット推定における誤差を定量化できるが、過小評価する傾向がある。 本稿では,信号とその不確かさを推定するための新たな分離可能な定式化を提案し,オーバーフィッティングの影響を回避した。 提案手法は信号および不確実性推定のための最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-03T12:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。