論文の概要: Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks

• arxiv url: http://arxiv.org/abs/2407.02138v1
• Date: Tue, 2 Jul 2024 10:33:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 15:55:01.090928
• Title: Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks
• Title（参考訳）: 自然言語処理タスクにおける近接近傍の効率の良い不確実性推定
• Authors: Wataru Hashimoto, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: $k$-Nearest Neearbor Uncertainty Estimation (k$NN-UE) は、隣人からの距離と、隣人のラベル存在率を利用する不確実性推定手法である。 実験の結果,提案手法は信頼性校正,選択予測,分布外検出において,ベースラインや最近の密度に基づく手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 26.336947440529713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trustworthy prediction in Deep Neural Networks (DNNs), including Pre-trained Language Models (PLMs) is important for safety-critical applications in the real world. However, DNNs often suffer from uncertainty estimation, such as miscalibration. In particular, approaches that require multiple stochastic inference can mitigate this problem, but the expensive cost of inference makes them impractical. In this study, we propose $k$-Nearest Neighbor Uncertainty Estimation ($k$NN-UE), which is an uncertainty estimation method that uses the distances from the neighbors and label-existence ratio of neighbors. Experiments on sentiment analysis, natural language inference, and named entity recognition show that our proposed method outperforms the baselines or recent density-based methods in confidence calibration, selective prediction, and out-of-distribution detection. Moreover, our analyses indicate that introducing dimension reduction or approximate nearest neighbor search inspired by recent $k$NN-LM studies reduces the inference overhead without significantly degrading estimation performance when combined them appropriately.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)を含むディープニューラルネットワーク(DNN)の信頼できる予測は、現実世界の安全クリティカルなアプリケーションにとって重要である。 しかし、DNNは誤校正などの不確実性評価に悩まされることが多い。 特に、複数の確率的推論を必要とするアプローチはこの問題を軽減することができるが、高価な推論コストはそれらを非現実的なものにする。 本研究では,近隣住民からの距離と近隣住民のラベル存在率を利用した不確実性推定手法であるk$Nearest Neearbor Uncertainty Estimation(k$NN-UE)を提案する。 感情分析,自然言語推論,名前付きエンティティ認識実験の結果,提案手法は信頼度校正,選択予測,分布外検出において,ベースラインや最近の密度に基づく手法よりも優れていた。 さらに,最近の$k$NN-LM研究にインスパイアされた,次元の縮小や近接した近傍探索の導入により,推定性能を適切に向上させることなく,推定オーバーヘッドを低減できることが示唆された。

関連論文リスト

• Scalable Subsampling Inference for Deep Neural Networks [0.0]
  完全連結DNN推定器の性能を測定するために,非漸近誤差境界が開発された。 非ランダムなサブサンプリング手法--scalable subsampling-を応用し、サブタグ付きDNN推定器を構築する。 提案された信頼/予測間隔は有限サンプルでうまく機能しているように見える。
  論文  参考訳（メタデータ） (2024-05-14T02:11:38Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• On the Minimal Adversarial Perturbation for Deep Neural Networks with Provable Estimation Error [65.51757376525798]
  敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。 検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。 本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。 その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
  論文  参考訳（メタデータ） (2022-01-04T16:40:03Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
  強化学習における高信頼行動非依存のオフ政治評価について検討する。 様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
  論文  参考訳（メタデータ） (2020-10-22T12:39:11Z)
• Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning [25.8227937350516]
  トレーニングデータの量が少ない場合,最先端のBNNとDeep Ensembleモデルの不確実性推定能力は著しく低下することを示す。 サンプル効率の高い非パラメトリックkNN手法の確率的一般化を提案する。 我々のアプローチは、深いkNNがその予測において根底にある不確かさを正確に定量化することを可能にする。
  論文  参考訳（メタデータ） (2020-07-18T21:36:31Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)
• An Empirical Evaluation on Robustness and Uncertainty of Regularization Methods [43.25086015530892]
  ディープニューラルネットワーク(DNN)は、人間と根本的に異なる振る舞いをする。 入力にぼやけなどの小さな汚職が適用されると、簡単に予測を変更できる。 彼らは分布外サンプル(不適切な不確実性尺度)に自信を持って予測する。
  論文  参考訳（メタデータ） (2020-03-09T01:15:22Z)
• Estimating Uncertainty Intervals from Collaborating Networks [15.467208581231848]
  本稿では,2つの損失関数を持つ2つのニューラルネットワークを定義することにより,回帰の予測分布を推定する新しい手法を提案する。 具体的には、あるネットワークは累積分布関数を近似し、2番目のネットワークはその逆を近似する。 我々は、糖尿病患者のA1c値を電子健康記録から予測するなど、CNを2つの合成および6つの実世界のデータセットに対するいくつかの一般的なアプローチと比較した。
  論文  参考訳（メタデータ） (2020-02-12T20:10:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。