論文の概要: Average of Pruning: Improving Performance and Stability of Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2303.01201v1
• Date: Thu, 2 Mar 2023 12:34:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 14:38:10.338209
• Title: Average of Pruning: Improving Performance and Stability of Out-of-Distribution Detection
• Title（参考訳）: プルーニングの平均値:分散検出の性能と安定性の向上
• Authors: Zhen Cheng, Fei Zhu, Xu-Yao Zhang, Cheng-Lin Liu
• Abstract要約: OOD検出の性能はトレーニング中の過度な適合と不安定性に悩まされている。 モデル平均化とプルーニングからなるAoP(Average of Pruning)を提案し,不安定な挙動を緩和する。
• 参考スコア（独自算出の注目度）: 37.43981354073841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting Out-of-distribution (OOD) inputs have been a critical issue for neural networks in the open world. However, the unstable behavior of OOD detection along the optimization trajectory during training has not been explored clearly. In this paper, we first find the performance of OOD detection suffers from overfitting and instability during training: 1) the performance could decrease when the training error is near zero, and 2) the performance would vary sharply in the final stage of training. Based on our findings, we propose Average of Pruning (AoP), consisting of model averaging and pruning, to mitigate the unstable behaviors. Specifically, model averaging can help achieve a stable performance by smoothing the landscape, and pruning is certified to eliminate the overfitting by eliminating redundant features. Comprehensive experiments on various datasets and architectures are conducted to verify the effectiveness of our method.
• Abstract（参考訳）: オープンワールドにおけるニューラルネットワークのアウト・オブ・ディストリビューション(OOD)入力の検出は重要な問題となっている。 しかし,OOD検出の最適軌道に沿った不安定な挙動は明らかにされていない。 本稿では,OOD検出の性能がトレーニング中に過度に適合し,不安定であることを示す。 1) 訓練誤差が0に近い場合、性能が低下する可能性があり、 2) 訓練の最終段階において, 成績は著しく変化する。 そこで本研究では, モデル平均化とプルーニングからなるAoP(Average of Pruning)を提案し, 不安定な挙動を緩和する。 具体的には、モデル平均化はランドスケープをスムーズにすることで安定した性能を達成するのに役立ち、冗長な特徴を排除してオーバーフィッティングを排除するためにプルーニングが認定される。 本手法の有効性を検証するため,各種データセットとアーキテクチャに関する総合実験を行った。

関連論文リスト

• DRoP: Distributionally Robust Pruning [11.930434318557156]
  我々は、訓練されたモデルの分類バイアスにデータプルーニングが与える影響について、最初の系統的研究を行う。 そこで我々はDRoPを提案する。DRoPは,標準的なコンピュータビジョンベンチマークにおいて,その性能を実証的に実証し,分散的に頑健な手法である。
  論文  参考訳（メタデータ） (2024-04-08T14:55:35Z)
• Mahalanobis-Aware Training for Out-of-Distribution Detection [0.11510009152620666]
  そこで本研究では, 密度に基づくアウト・オブ・ディストリビューション感度を向上したトレーニングネットワークのための新しい損失関数とレシピを提案する。 本研究では,CIFAR-10における提案手法の有効性を実証し,提案手法の相対的マハラノビス距離法における偽陽性率を50%以上削減した。
  論文  参考訳（メタデータ） (2023-11-01T19:46:40Z)
• On the Robustness of Open-World Test-Time Training: Self-Training with Dynamic Prototype Expansion [46.30241353155658]
  ディープラーニングモデルを低レイテンシで未知のターゲット領域分布に一般化することは、テスト時間トレーニング/適応(TTT/TTA)の研究を動機付けている。 多くの最先端手法は、ターゲットドメインが強いアウト・オブ・ディストリビューション(OOD)データで汚染されると性能を維持することができない。 我々は,自己学習型TTT法の有効性を向上させる適応型強力なOODプルーニングを開発した。 我々は,分散アライメントによる自己学習を正規化し,その組み合わせにより,OWTTTベンチマークの最先端性能が得られる。
  論文  参考訳（メタデータ） (2023-08-19T08:27:48Z)
• LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
  本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。 本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T13:49:05Z)
• AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
  オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。 本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)
• Stability for the Training of Deep Neural Networks and Other Classifiers [0.9558392439655015]
  我々は安定性の概念を定式化し、不安定性の例を示す。 トレーニングで損失が減少する限り、トレーニングに使用されるアルゴリズムには依存しない。
  論文  参考訳（メタデータ） (2020-02-10T22:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。