論文の概要: Out-Of-Distribution Detection Is Not All You Need

• arxiv url: http://arxiv.org/abs/2211.16158v1
• Date: Tue, 29 Nov 2022 12:40:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 14:34:20.790992
• Title: Out-Of-Distribution Detection Is Not All You Need
• Title（参考訳）: Out-Of-Distribution Detectionは必要なものすべてではない
• Authors: Joris Gu\'erin (IRD), Kevin Delmas, Raul Sena Ferreira (LAAS), J\'er\'emie Guiochet (LAAS)
• Abstract要約: 我々は,OOD検出は効率的なランタイムモニタの設計に適したフレームワークではないと主張している。 OOD設定におけるモニタの学習は誤解を招く可能性があることを示す。 また、誤ったトレーニングデータサンプルを削除することで、より良いモニターをトレーニングできることも示しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The usage of deep neural networks in safety-critical systems is limited by our ability to guarantee their correct behavior. Runtime monitors are components aiming to identify unsafe predictions and discard them before they can lead to catastrophic consequences. Several recent works on runtime monitoring have focused on out-of-distribution (OOD) detection, i.e., identifying inputs that are different from the training data. In this work, we argue that OOD detection is not a well-suited framework to design efficient runtime monitors and that it is more relevant to evaluate monitors based on their ability to discard incorrect predictions. We call this setting out-ofmodel-scope detection and discuss the conceptual differences with OOD. We also conduct extensive experiments on popular datasets from the literature to show that studying monitors in the OOD setting can be misleading: 1. very good OOD results can give a false impression of safety, 2. comparison under the OOD setting does not allow identifying the best monitor to detect errors. Finally, we also show that removing erroneous training data samples helps to train better monitors.
• Abstract（参考訳）: 安全クリティカルシステムにおけるディープニューラルネットワークの利用は、その正しい振る舞いを保証する能力によって制限される。 実行時モニタは、安全でない予測を特定し、破滅的な結果をもたらす前に破棄するコンポーネントである。 ランタイムモニタリングに関する最近の研究は、アウト・オブ・ディストリビューション(OOD)検出、すなわちトレーニングデータとは異なる入力を特定することに焦点を当てている。 本研究では,OOD検出が効率的なランタイムモニタの設計に適したフレームワークではないこと,不正確な予測を破棄する能力に基づいてモニタを評価することが重要であることを論じる。 我々はこれをモデル外検出と呼び、OODの概念的差異について議論する。 我々はまた、OOD設定におけるモニタの研究が誤解を招く可能性があることを示すため、文献からの一般的なデータセットに関する広範な実験を行った。 非常に良いOODの結果は、安全性の虚偽の印象を与える。 2. ood設定下での比較では、最良のモニターがエラーを検出することができない。 最後に、誤ったトレーニングデータサンプルを削除することで、より良いモニターをトレーニングできることも示します。

関連論文リスト

• Resultant: Incremental Effectiveness on Likelihood for Unsupervised Out-of-Distribution Detection [63.93728560200819]
  unsupervised out-of-distribution (U-OOD) は、未表示のin-distriion(ID)データのみに基づいて訓練された検出器でデータサンプルを識別することである。 近年の研究は、DGMに基づく様々な検出器を開発し、可能性を超えて移動している。 本研究では,各方向,特にポストホック前とデータセットエントロピー・ミューチュアルキャリブレーションの2つの手法を適用した。 実験の結果、結果が新しい最先端のU-OOD検出器になる可能性が示された。
  論文  参考訳（メタデータ） (2024-09-05T02:58:13Z)
• Can we Defend Against the Unknown? An Empirical Study About Threshold Selection for Neural Network Monitoring [6.8734954619801885]
  実行時モニタリングは、推論中に安全でない予測を拒否するために必須である。 安全と安全でない予測の分布の分離性を最大化する拒絶スコアを確立するために様々な技術が出現している。 実世界のアプリケーションでは、効果的なモニターは、これらのスコアを意味のあるバイナリ決定に変換するための適切なしきい値を特定する必要がある。
  論文  参考訳（メタデータ） (2024-05-14T14:32:58Z)
• A noisy elephant in the room: Is your out-of-distribution detector robust to label noise? [49.88894124047644]
  我々は、最先端のOOD検出方法20について詳しく検討する。 不正に分類されたIDサンプルとOODサンプルの分離が不十分であることを示す。
  論文  参考訳（メタデータ） (2024-04-02T09:40:22Z)
• Can Pre-trained Networks Detect Familiar Out-of-Distribution Data? [37.36999826208225]
  PT-OODが事前学習ネットワークのOOD検出性能に及ぼす影響について検討した。 特徴空間におけるPT-OODの低線形分離性はPT-OOD検出性能を著しく低下させることがわかった。 本稿では,大規模事前学習モデルに対する一意な解を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:00Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
  オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。 本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
  アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。 現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。 これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。 我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
  論文  参考訳（メタデータ） (2023-02-21T21:31:20Z)
• Rainproof: An Umbrella To Shield Text Generators From Out-Of-Distribution Data [41.62897997865578]
  安全なシステム動作を保証するための重要な要素は、Out-Of-Distribution Detectionである。 ほとんどのメソッドはエンコーダが出力する隠れた機能に依存している。 本研究では,ブラックボックスフレームワークにおけるソフト確率の活用に焦点をあてる。
  論文  参考訳（メタデータ） (2022-12-18T21:22:28Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。