論文の概要: Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks

• arxiv url: http://arxiv.org/abs/2407.02138v1
• Date: Tue, 2 Jul 2024 10:33:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-03 15:55:01.090928
• Title: Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks
• Title（参考訳）: 自然言語処理タスクにおける近接近傍の効率の良い不確実性推定
• Authors: Wataru Hashimoto, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: $k$-Nearest Neearbor Uncertainty Estimation (k$NN-UE) は、隣人からの距離と、隣人のラベル存在率を利用する不確実性推定手法である。 実験の結果,提案手法は信頼性校正,選択予測,分布外検出において,ベースラインや最近の密度に基づく手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 26.336947440529713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trustworthy prediction in Deep Neural Networks (DNNs), including Pre-trained Language Models (PLMs) is important for safety-critical applications in the real world. However, DNNs often suffer from uncertainty estimation, such as miscalibration. In particular, approaches that require multiple stochastic inference can mitigate this problem, but the expensive cost of inference makes them impractical. In this study, we propose $k$-Nearest Neighbor Uncertainty Estimation ($k$NN-UE), which is an uncertainty estimation method that uses the distances from the neighbors and label-existence ratio of neighbors. Experiments on sentiment analysis, natural language inference, and named entity recognition show that our proposed method outperforms the baselines or recent density-based methods in confidence calibration, selective prediction, and out-of-distribution detection. Moreover, our analyses indicate that introducing dimension reduction or approximate nearest neighbor search inspired by recent $k$NN-LM studies reduces the inference overhead without significantly degrading estimation performance when combined them appropriately.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)を含むディープニューラルネットワーク(DNN)の信頼できる予測は、現実世界の安全クリティカルなアプリケーションにとって重要である。 しかし、DNNは誤校正などの不確実性評価に悩まされることが多い。 特に、複数の確率的推論を必要とするアプローチはこの問題を軽減することができるが、高価な推論コストはそれらを非現実的なものにする。 本研究では,近隣住民からの距離と近隣住民のラベル存在率を利用した不確実性推定手法であるk$Nearest Neearbor Uncertainty Estimation(k$NN-UE)を提案する。 感情分析,自然言語推論,名前付きエンティティ認識実験の結果,提案手法は信頼度校正,選択予測,分布外検出において,ベースラインや最近の密度に基づく手法よりも優れていた。 さらに,最近の$k$NN-LM研究にインスパイアされた,次元の縮小や近接した近傍探索の導入により,推定性能を適切に向上させることなく,推定オーバーヘッドを低減できることが示唆された。

関連論文リスト

• Confidence Intervals and Simultaneous Confidence Bands Based on Deep Learning [0.36832029288386137]
  本手法は, 適用された最適化アルゴリズムに固有の雑音からデータの不確実性を正しく解き放つことのできる, 有効な非パラメトリックブートストラップ法である。 提案したアドホック法は、トレーニングプロセスに干渉することなく、ディープニューラルネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2024-06-20T05:51:37Z)
• Scalable Subsampling Inference for Deep Neural Networks [0.0]
  完全連結DNN推定器の性能を測定するために,非漸近誤差境界が開発された。 非ランダムなサブサンプリング手法--scalable subsampling-を応用し、サブタグ付きDNN推定器を構築する。 提案された信頼/予測間隔は有限サンプルでうまく機能しているように見える。
  論文  参考訳（メタデータ） (2024-05-14T02:11:38Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Uncertainty-Aware Lidar Place Recognition in Novel Environments [11.30020653282995]
  本研究では,不確実性を考慮したライダー位置認識の課題について検討する。 各予測された場所は、誤った予測を識別し拒否するために使用できる関連する不確実性を持つ必要がある。 我々は新しい評価プロトコルを導入し、このタスクのための最初の総合的なベンチマークを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:06:44Z)
• On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks [11.929914721626849]
  我々は,現在最先端の不確実性推定アルゴリズムが,我々の提案した敵攻撃の下で破滅的に失敗する可能性を示唆した。 特に、領域外不確実性推定を攻撃することを目的としている。
  論文  参考訳（メタデータ） (2022-10-03T23:33:38Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• On the Minimal Adversarial Perturbation for Deep Neural Networks with Provable Estimation Error [65.51757376525798]
  敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。 検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。 本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。 その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
  論文  参考訳（メタデータ） (2022-01-04T16:40:03Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Adversarial Attack for Uncertainty Estimation: Identifying Critical Regions in Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける決定境界付近のデータポイントをキャプチャする手法を提案する。 不確実性推定は、モデルのパラメータに摂動を与える以前の研究とは異なり、入力摂動から導かれる。 提案手法は,他の手法よりも優れた性能を示し,機械学習におけるモデル不確実性を捉えるリスクが低いことを示した。
  論文  参考訳（メタデータ） (2021-07-15T21:30:26Z)
• The Aleatoric Uncertainty Estimation Using a Separate Formulation with Virtual Residuals [51.71066839337174]
  既存の手法では、ターゲット推定における誤差を定量化できるが、過小評価する傾向がある。 本稿では,信号とその不確かさを推定するための新たな分離可能な定式化を提案し,オーバーフィッティングの影響を回避した。 提案手法は信号および不確実性推定のための最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-03T12:11:27Z)
• CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
  強化学習における高信頼行動非依存のオフ政治評価について検討する。 様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
  論文  参考訳（メタデータ） (2020-10-22T12:39:11Z)
• Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning [25.8227937350516]
  トレーニングデータの量が少ない場合,最先端のBNNとDeep Ensembleモデルの不確実性推定能力は著しく低下することを示す。 サンプル効率の高い非パラメトリックkNN手法の確率的一般化を提案する。 我々のアプローチは、深いkNNがその予測において根底にある不確かさを正確に定量化することを可能にする。
  論文  参考訳（メタデータ） (2020-07-18T21:36:31Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)
• An Empirical Evaluation on Robustness and Uncertainty of Regularization Methods [43.25086015530892]
  ディープニューラルネットワーク(DNN)は、人間と根本的に異なる振る舞いをする。 入力にぼやけなどの小さな汚職が適用されると、簡単に予測を変更できる。 彼らは分布外サンプル(不適切な不確実性尺度)に自信を持って予測する。
  論文  参考訳（メタデータ） (2020-03-09T01:15:22Z)
• Estimating Uncertainty Intervals from Collaborating Networks [15.467208581231848]
  本稿では,2つの損失関数を持つ2つのニューラルネットワークを定義することにより,回帰の予測分布を推定する新しい手法を提案する。 具体的には、あるネットワークは累積分布関数を近似し、2番目のネットワークはその逆を近似する。 我々は、糖尿病患者のA1c値を電子健康記録から予測するなど、CNを2つの合成および6つの実世界のデータセットに対するいくつかの一般的なアプローチと比較した。
  論文  参考訳（メタデータ） (2020-02-12T20:10:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。