論文の概要: Embracing Unknown Step by Step: Towards Reliable Sparse Training in Real World
- arxiv url: http://arxiv.org/abs/2403.20047v1
- Date: Fri, 29 Mar 2024 08:33:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 16:04:00.989868
- Title: Embracing Unknown Step by Step: Towards Reliable Sparse Training in Real World
- Title（参考訳）: 未知のステップを段階的に受け入れる - 実世界での信頼性の高いスパーストレーニングを目指して
- Authors: Bowen Lei, Dongkuan Xu, Ruqi Zhang, Bani Mallick,
- Abstract要約: スパーストレーニングは、現実世界のアプリケーションにおいて、リソース効率の高いディープニューラルネットワーク(DNN)の有望な方法として登場した。
しかし、スパースモデルの信頼性は、特に未知のアウト・オブ・ディストリビューション(OOD)データを検出する上で重要な問題である。
本研究は,OODの観点からスパーストレーニングの信頼性を検討することにより,知識ギャップに対処する。
本稿では,損失修正,自動チューニング,投票方式を取り入れた未知のスパース学習手法を提案する。
- 参考スコア（独自算出の注目度）: 23.836541532002126
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse training has emerged as a promising method for resource-efficient deep neural networks (DNNs) in real-world applications. However, the reliability of sparse models remains a crucial concern, particularly in detecting unknown out-of-distribution (OOD) data. This study addresses the knowledge gap by investigating the reliability of sparse training from an OOD perspective and reveals that sparse training exacerbates OOD unreliability. The lack of unknown information and the sparse constraints hinder the effective exploration of weight space and accurate differentiation between known and unknown knowledge. To tackle these challenges, we propose a new unknown-aware sparse training method, which incorporates a loss modification, auto-tuning strategy, and a voting scheme to guide weight space exploration and mitigate confusion between known and unknown information without incurring significant additional costs or requiring access to additional OOD data. Theoretical insights demonstrate how our method reduces model confidence when faced with OOD samples. Empirical experiments across multiple datasets, model architectures, and sparsity levels validate the effectiveness of our method, with improvements of up to \textbf{8.4\%} in AUROC while maintaining comparable or higher accuracy and calibration. This research enhances the understanding and readiness of sparse DNNs for deployment in resource-limited applications. Our code is available on: \url{https://github.com/StevenBoys/MOON}.
- Abstract（参考訳）: スパーストレーニングは、現実世界のアプリケーションにおいて、リソース効率の高いディープニューラルネットワーク(DNN)の有望な方法として登場した。
しかし、スパースモデルの信頼性は、特に未知のアウト・オブ・ディストリビューション(OOD)データを検出する上で重要な問題である。
本研究は, スパーストレーニングの信頼性をOODの観点から検証し, スパーストレーニングがOODの信頼性を悪化させることを明らかにすることにより, 知識ギャップを解消するものである。
未知の情報とスパース制約の欠如は、重量空間の効果的な探索と、未知の知識と未知の知識の正確な区別を妨げている。
これらの課題に対処するために、損失修正、オートチューニング戦略、投票方式を取り入れた未知のスパーストレーニング手法を提案する。
理論的洞察は、OODサンプルに直面した場合、我々の手法がモデルの信頼性をいかに低下させるかを示す。
複数のデータセット、モデルアーキテクチャ、スパーシティレベルにまたがる実証実験により、AUROC の \textbf{8.4\%} まで改善され、精度やキャリブレーションが向上した。
本研究は,資源制限されたアプリケーションに展開するスパースDNNの理解と準備性を高める。
我々のコードは以下の通りである。
関連論文リスト
- OAL: Enhancing OOD Detection Using Latent Diffusion [5.357756138014614]
Outlier Aware Learning (OAL)フレームワークは、潜伏空間で直接OODトレーニングデータを合成する。
In-Distribution (ID) と収集したOOD特徴の区別を増幅する相互情報に基づくコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-06-24T11:01:43Z) - Gradient-Regularized Out-of-Distribution Detection [28.542499196417214]
現実のアプリケーションにおけるニューラルネットワークの課題の1つは、これらのモデルが元のトレーニングディストリビューションからデータが送られていないときに犯す過信エラーである。
本稿では,学習中の損失関数の勾配に埋め込まれた情報を活用して,ネットワークが各サンプルに対して所望のOODスコアを学習できるようにする方法を提案する。
また、トレーニング期間中に、より情報性の高いOODサンプルにネットワークを露出させるための、新しいエネルギーベースのサンプリング手法を開発した。
論文 参考訳（メタデータ） (2024-04-18T17:50:23Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Using Semantic Information for Defining and Detecting OOD Inputs [3.9577682622066264]
アウト・オブ・ディストリビューション(OOD)検出は近年注目されている。
現在の検出器がトレーニングデータセットのバイアスを継承していることを示します。
これにより、現在のOOD検出器はトレーニング分布の外にある入力に不透過であり、同じ意味情報を持つことができる。
我々は,MNISTおよびCOCOデータセットのトレーニングデータから抽出した意味情報に基づいてOOD検出を行う。
論文 参考訳（メタデータ） (2023-02-21T21:31:20Z) - Uncertainty-Estimation with Normalized Logits for Out-of-Distribution
Detection [35.539218522504605]
UE-NL(Uncertainty-Estimation with Normalized Logits)は,OOD検出のための頑健な学習手法である。
UE-NLは、入力データの不確実性スコアを予測することにより、全てのIDサンプルを等しく扱う。
他の方法によってOODデータと誤認される可能性のあるIDデータを騒がせることは、より堅牢である。
論文 参考訳（メタデータ） (2023-02-15T11:57:09Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T15:38:39Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳（メタデータ） (2021-08-26T14:01:04Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - Out-of-Distribution Detection for Automotive Perception [58.34808836642603]
ニューラルネットワーク(NN)は、自律運転におけるオブジェクト分類に広く使われている。
NNは、アウト・オブ・ディストリビューション(OOD)データとして知られるトレーニングデータセットで適切に表現されていない入力データでフェールすることができる。
本稿では,OODデータを必要としない入力がOODであるか否かを判定し,推論の計算コストを増大させる方法を提案する。
論文 参考訳（メタデータ） (2020-11-03T01:46:35Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-09-30T05:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。