論文の概要: Out-of-Distribution Knowledge Distillation via Confidence Amendment
- arxiv url: http://arxiv.org/abs/2311.07975v1
- Date: Tue, 14 Nov 2023 08:05:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 15:04:49.135020
- Title: Out-of-Distribution Knowledge Distillation via Confidence Amendment
- Title(参考訳): 信頼度補正による分布外知識蒸留
- Authors: Zhilin Zhao and Longbing Cao and Yixuan Zhang
- Abstract要約: 標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
このフレームワークは、標準ネットワークからOODに敏感な知識を活用し、IDとOODサンプルの識別に適したバイナリ分類器を構築する。
- 参考スコア(独自算出の注目度): 50.56321442948141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution (OOD) detection is essential in identifying test samples
that deviate from the in-distribution (ID) data upon which a standard network
is trained, ensuring network robustness and reliability. This paper introduces
OOD knowledge distillation, a pioneering learning framework applicable whether
or not training ID data is available, given a standard network. This framework
harnesses OOD-sensitive knowledge from the standard network to craft a binary
classifier adept at distinguishing between ID and OOD samples. To accomplish
this, we introduce Confidence Amendment (CA), an innovative methodology that
transforms an OOD sample into an ID one while progressively amending prediction
confidence derived from the standard network. This approach enables the
simultaneous synthesis of both ID and OOD samples, each accompanied by an
adjusted prediction confidence, thereby facilitating the training of a binary
classifier sensitive to OOD. Theoretical analysis provides bounds on the
generalization error of the binary classifier, demonstrating the pivotal role
of confidence amendment in enhancing OOD sensitivity. Extensive experiments
spanning various datasets and network architectures confirm the efficacy of the
proposed method in detecting OOD samples.
- Abstract(参考訳): オフ・オブ・ディストリビューション(OOD)検出は、標準ネットワークがトレーニングされているIDデータから逸脱するテストサンプルを識別し、ネットワークの堅牢性と信頼性を確保するために不可欠である。
本稿では,標準ネットワーク上でidデータのトレーニングが可能か否かを問わない,先駆的な学習フレームワークであるood知識蒸留について紹介する。
このフレームワークは、標準ネットワークからOODに敏感な知識を活用し、IDとOODのサンプルを区別できるバイナリ分類器を構築する。
そこで我々は,標準ネットワークからの予測信頼度を段階的に改善しつつ,OODサンプルをIDに変換する革新的な手法である信頼性修正(CA)を導入する。
このアプローチは, 予測信頼度を調整したIDとOODの両方のサンプルを同時合成することにより, OODに敏感なバイナリ分類器の訓練を容易にする。
理論的解析は二項分類器の一般化誤差の境界を提供し、ood感度向上における信頼度補正の重要な役割を示している。
様々なデータセットとネットワークアーキテクチャにまたがる広範な実験により、oodサンプル検出における提案手法の有効性が確認された。
関連論文リスト
- How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。
本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
論文 参考訳(メタデータ) (2024-02-05T20:36:33Z) - Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳(メタデータ) (2023-11-06T16:26:52Z) - Classifier-head Informed Feature Masking and Prototype-based Logit
Smoothing for Out-of-Distribution Detection [27.062465089674763]
ニューラルネットワークを現実世界にデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
1つの大きな課題は、ニューラルネットワークがOODデータに対して過信的な予測をすることです。
本稿では,新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づく,効果的なポストホックOOD検出手法を提案する。
論文 参考訳(メタデータ) (2023-10-27T12:42:17Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-24T18:50:49Z) - Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD
Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。
内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。
また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
論文 参考訳(メタデータ) (2022-06-20T16:32:49Z) - Supervision Adaptation Balancing In-distribution Generalization and
Out-of-distribution Detection [36.66825830101456]
In-distribution (ID) と Out-of-distribution (OOD) のサンプルは、ディープニューラルネットワークにおけるtextitdistributionalな脆弱性を引き起こす可能性がある。
我々は,OODサンプルに対する適応的な監視情報を生成するために,新しいテクスツパービジョン適応手法を導入し,IDサンプルとの互換性を高めた。
論文 参考訳(メタデータ) (2022-06-19T11:16:44Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳(メタデータ) (2021-06-08T11:40:49Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。