論文の概要: Out-of-distribution detection for regression tasks: parameter versus predictor entropy

• arxiv url: http://arxiv.org/abs/2010.12995v2
• Date: Mon, 11 Sep 2023 20:13:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 18:29:45.342888
• Title: Out-of-distribution detection for regression tasks: parameter versus predictor entropy
• Title（参考訳）: 回帰課題の分布外検出:パラメータと予測エントロピー
• Authors: Yann Pequignot, Mathieu Alain, Patrick Dallaire, Alireza Yeganehparast, Pascal Germain, Jos\'ee Desharnais and Fran\c{c}ois Laviolette
• Abstract要約: マシンラーニングモデルが信頼されるためのトレーニングサンプルから、インスタンスが正しく外れていることを検出することが重要です。 ニューラルネットワークの場合、このタスクの1つのアプローチは、トレーニングデータを説明することができる予測子の多様性を学習することである。 そこで本研究では,関数空間に近接する隣接点に基づく予測器上の分布のエントロピーを推定する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 2.026281591452464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is crucial to detect when an instance lies downright too far from the training samples for the machine learning model to be trusted, a challenge known as out-of-distribution (OOD) detection. For neural networks, one approach to this task consists of learning a diversity of predictors that all can explain the training data. This information can be used to estimate the epistemic uncertainty at a given newly observed instance in terms of a measure of the disagreement of the predictions. Evaluation and certification of the ability of a method to detect OOD require specifying instances which are likely to occur in deployment yet on which no prediction is available. Focusing on regression tasks, we choose a simple yet insightful model for this OOD distribution and conduct an empirical evaluation of the ability of various methods to discriminate OOD samples from the data. Moreover, we exhibit evidence that a diversity of parameters may fail to translate to a diversity of predictors. Based on the choice of an OOD distribution, we propose a new way of estimating the entropy of a distribution on predictors based on nearest neighbors in function space. This leads to a variational objective which, combined with the family of distributions given by a generative neural network, systematically produces a diversity of predictors that provides a robust way to detect OOD samples.
• Abstract（参考訳）: マシンラーニングモデルのトレーニングサンプルから離れた場所にあるインスタンスが信頼されるかどうかを検出することは、od(out-of-distribution)検出として知られる課題である。 このタスクに対する1つのアプローチは、トレーニングデータを説明することができる予測子の多様性を学ぶことだ。 この情報は、予測の不一致の尺度の観点から、与えられた新しく観測されたインスタンスにおける認識の不確実性の推定に使用できる。 oodを検出する方法の能力の評価と認定には、まだ予測ができないデプロイメントで発生しそうなインスタンスを特定する必要がある。 回帰タスクに着目して、このOOD分布の単純だが洞察に富んだモデルを選択し、データからOODサンプルを識別する様々な手法の能力を実証的に評価する。 さらに,パラメータの多様性が予測要因の多様性に変換できないという証拠を示す。 そこで,ood分布の選択に基づいて,関数空間における近接近傍に基づく予測器上の分布のエントロピーを推定する新しい手法を提案する。 これにより、生成型ニューラルネットワークが与える分布群と組み合わせることで、oodサンプルを検出するロバストな方法を提供する予測器の多様性を体系的に生み出す、変分的目標が導かれる。

関連論文リスト

• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• Confidence estimation of classification based on the distribution of the neural network output layer [4.529188601556233]
  現実の世界における予測モデルの適用を防ぐための最も一般的な問題の1つは一般化の欠如である。 ニューラルネットワーク分類モデルにより生成された特定の予測の不確かさを推定する新しい手法を提案する。 提案手法は,この予測に対応するロジット値の分布に基づいて,特定の予測の信頼性を推定する。
  論文  参考訳（メタデータ） (2022-10-14T12:32:50Z)
• Addressing Randomness in Evaluation Protocols for Out-of-Distribution Detection [1.8047694351309207]
  分類のためのディープニューラルネットワークは、トレーニング分布に起因しない入力に直面すると予測不可能に振る舞う。 我々は,現在のプロトコルが OOD 手法の期待性能を信頼できないことを示す。 ランダム性に対処するモンテカルロ法を用いてOOD法の性能を推定する。
  論文  参考訳（メタデータ） (2022-03-01T12:06:44Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
  ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。 トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。 本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
  論文  参考訳（メタデータ） (2021-12-13T02:35:15Z)
• Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
  トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。 本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。 本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
  論文  参考訳（メタデータ） (2021-07-29T17:42:12Z)
• Robust Out-of-Distribution Detection on Deep Probabilistic Generative Models [0.06372261626436676]
  アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。 深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。 本稿では,外周露光を伴わない新しい検出指標を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:36:10Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Posterior Network: Uncertainty Estimation without OOD Samples via Density-Based Pseudo-Counts [33.45069308137142]
  Posterior Network (PostNet) は、任意のサンプルに対する予測確率よりも、個々の閉形式後部分布を予測する。 PostNetは、OODの検出とデータセットシフトによる不確実なキャリブレーションにおいて、最先端の成果を達成する。
  論文  参考訳（メタデータ） (2020-06-16T15:16:32Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。