論文の概要: Optimal Parameter and Neuron Pruning for Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2402.10062v1
- Date: Sun, 4 Feb 2024 07:31:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 12:54:04.015045
- Title: Optimal Parameter and Neuron Pruning for Out-of-Distribution Detection
- Title（参考訳）: 分布外検出のための最適パラメータとニューロンプラニング
- Authors: Chao Chen, Zhihang Fu, Kai Liu, Ze Chen, Mingyuan Tao, Jieping Ye
- Abstract要約: 我々は,textbfOptimal textbfParameter と textbfNeuron textbfPruning (textbfOPNP) アプローチを提案し,OODサンプルを検出する。
我々の提案は、トレーニングフリーで、他のポストホックメソッドと互換性があり、すべてのトレーニングデータから情報を探索する。
- 参考スコア（独自算出の注目度）: 36.4610463573214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For a machine learning model deployed in real world scenarios, the ability of
detecting out-of-distribution (OOD) samples is indispensable and challenging.
Most existing OOD detection methods focused on exploring advanced training
skills or training-free tricks to prevent the model from yielding overconfident
confidence score for unknown samples. The training-based methods require
expensive training cost and rely on OOD samples which are not always available,
while most training-free methods can not efficiently utilize the prior
information from the training data. In this work, we propose an
\textbf{O}ptimal \textbf{P}arameter and \textbf{N}euron \textbf{P}runing
(\textbf{OPNP}) approach, which aims to identify and remove those parameters
and neurons that lead to over-fitting. The main method is divided into two
steps. In the first step, we evaluate the sensitivity of the model parameters
and neurons by averaging gradients over all training samples. In the second
step, the parameters and neurons with exceptionally large or close to zero
sensitivities are removed for prediction. Our proposal is training-free,
compatible with other post-hoc methods, and exploring the information from all
training data. Extensive experiments are performed on multiple OOD detection
tasks and model architectures, showing that our proposed OPNP consistently
outperforms the existing methods by a large margin.
- Abstract（参考訳）: 現実世界のシナリオにデプロイされた機械学習モデルでは、アウト・オブ・ディストリビューション(OOD)サンプルを検出する能力は不可欠で難しい。
既存のOOD検出手法のほとんどは、モデルが未知のサンプルに対して自信過剰な信頼スコアを得るのを防ぐために、高度なトレーニングスキルやトレーニング不要なトリックを探索することに焦点を当てている。
トレーニングベースでは、トレーニングデータからの事前情報を効率的に利用できない場合が多いが、トレーニングベースの手法では、高価なトレーニングコストと、常に利用可能なoodサンプルに依存する必要がある。
本稿では,これらのパラメータやニューロンの過剰適合を識別・除去することを目的とした, \textbf{o}ptimal \textbf{p}arameter と \textbf{n}euron \textbf{p}runing (\textbf{opnp}) アプローチを提案する。
主な方法は2つの段階に分けられる。
最初のステップでは, モデルパラメータとニューロンの感度を, 全てのトレーニングサンプルの平均勾配によって評価する。
第2ステップでは、予測のために、例外的に大きくまたは0に近い感度のパラメータとニューロンを除去する。
提案手法はトレーニングフリーであり,他のポストホック法と互換性を持ち,すべてのトレーニングデータから情報を探索する。
複数のOOD検出タスクとモデルアーキテクチャに対して大規模な実験を行い、提案したOPNPが既存の手法よりずっと優れていることを示す。
関連論文リスト
- BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
本稿では,テスト時間適応フレームワークを提案する。
我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。
理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
論文 参考訳（メタデータ） (2024-10-20T15:58:43Z) - A Rate-Distortion View of Uncertainty Quantification [36.85921945174863]
教師付き学習では、入力がトレーニングデータに近接していることを理解することは、モデルが信頼できる予測に達する十分な証拠を持っているかどうかを判断するのに役立つ。
本稿では,この特性でディープニューラルネットワークを強化するための新しい手法であるDistance Aware Bottleneck (DAB)を紹介する。
論文 参考訳（メタデータ） (2024-06-16T01:33:22Z) - Uncertainty Measurement of Deep Learning System based on the Convex Hull of Training Sets [0.13265175299265505]
本研究では,訓練データの凸殻に基づくトレーニングモデルの不確実性を測定するTo-hull Uncertainity and Closure Ratioを提案する。
学習したデータの凸船体と見えないサンプルとの間の位置関係を観察し、サンプルが凸船体からどのように外挿されているかを推測することができる。
論文 参考訳（メタデータ） (2024-05-25T06:25:24Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Predicted Embedding Power Regression for Large-Scale Out-of-Distribution
Detection [77.1596426383046]
本研究では,学習過程において学習したラベル分布に基づいて,予測されたクラスラベルの確率を計算する手法を開発した。
提案手法は,計算コストの最小化のみで,現在の最先端手法よりも優れた性能を発揮する。
論文 参考訳（メタデータ） (2023-03-07T18:28:39Z) - A Data-Centric Approach for Improving Adversarial Training Through the
Lens of Out-of-Distribution Detection [0.4893345190925178]
複雑なアルゴリズムを適用して効果を緩和するのではなく, トレーニング手順から直接ハードサンプルを検出し, 除去することを提案する。
SVHN と CIFAR-10 データセットを用いた結果,計算コストの増大を伴わずに対角訓練の改善に本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-01-25T08:13:50Z) - Boosting Out-of-Distribution Detection with Multiple Pre-trained Models [41.66566916581451]
事前訓練されたモデルを用いたポストホック検出は有望な性能を示し、大規模にスケールできる。
本稿では,事前訓練されたモデルの動物園から抽出した複数の検出決定をアンサンブルすることで,検出強化手法を提案する。
CIFAR10 と ImageNet のベンチマークでは, 相対性能を 65.40% と 26.96% で大幅に改善した。
論文 参考訳（メタデータ） (2022-12-24T12:11:38Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - EARLIN: Early Out-of-Distribution Detection for Resource-efficient
Collaborative Inference [4.826988182025783]
協調推論により、リソース制約のあるエッジデバイスは、入力をサーバにアップロードすることで推論を行うことができる。
このセットアップは、成功した推論のためにコスト効率よく機能するが、モデルがトレーニングされていない入力サンプルに直面すると、非常にパフォーマンスが低下する。
我々は,事前訓練されたCNNモデルの浅い層から重要な特徴を抽出する,新しい軽量OOD検出手法を提案する。
論文 参考訳（メタデータ） (2021-06-25T18:43:23Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。