論文の概要: Supervision Adaptation Balances In-Distribution Generalization and
Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2206.09380v1
- Date: Sun, 19 Jun 2022 11:16:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 17:52:27.515372
- Title: Supervision Adaptation Balances In-Distribution Generalization and
Out-of-Distribution Detection
- Title（参考訳）: 配当一般化と配当検出における監督適応バランス
- Authors: Zhilin Zhao and Longbing Cao and Kun-Yu Lin
- Abstract要約: In-distriion (ID)サンプルでトレーニングされたディープニューラルネットワークは、out-of-distriion (OOD)サンプルの高信頼予測に苦しむ。
我々は,OODサンプルの適応的監視情報を定義するためのテクスツパービジョン適応手法を提案する。
- 参考スコア（独自算出の注目度）: 38.24668614663756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When there is a discrepancy between in-distribution (ID) samples and
out-of-distribution (OOD) samples, deep neural networks trained on ID samples
suffer from high-confidence prediction on OOD samples. This is primarily caused
by unavailable OOD samples to constrain the networks in the training process.
To improve the OOD sensitivity of deep networks, several state-of-the-art
methods introduce samples from other real-world datasets as OOD samples to the
training process and assign manually-determined labels to these OOD samples.
However, they sacrifice the classification accuracy because the unreliable
labeling of OOD samples would disrupt ID classification. To balance ID
generalization and OOD detection, a major challenge to tackle is to make OOD
samples compatible with ID ones, which is addressed by our proposed
\textit{supervision adaptation} method in this paper to define adaptive
supervision information for OOD samples. First, by measuring the dependency
between ID samples and their labels through mutual information, we reveal the
form of the supervision information in terms of the negative probabilities of
all classes. Second, after exploring the data correlations between ID and OOD
samples by solving multiple binary regression problems, we estimate the
supervision information to make ID classes more separable. We perform
experiments on four advanced network architectures with two ID datasets and
eleven OOD datasets to demonstrate the balancing effect of our supervision
adaptation method in achieving both the ID classification ability and the OOD
detection capacity.
- Abstract（参考訳）: 分布内(ID)サンプルと分布外(OOD)サンプルの間に不一致がある場合、IDサンプルに基づいてトレーニングされたディープニューラルネットワークは、OODサンプルに対する信頼度の高い予測に悩まされる。
これは主に、トレーニングプロセスのネットワークを制約するOODサンプルが利用できないためである。
ディープネットワークのOOD感度を改善するために、いくつかの最先端手法は、トレーニングプロセスにOODサンプルとして他の実世界のデータセットからのサンプルを導入し、これらのOODサンプルに手動で決定されたラベルを割り当てる。
しかし、OODサンプルの信頼性の低いラベル付けがID分類を損なうため、分類精度を犠牲にしている。
本稿では,IDの一般化とOOD検出のバランスをとるために,OODサンプルをIDサンプルと互換性を持たせることが大きな課題である。
まず,IDサンプルとそのラベル間の依存度を相互情報を用いて測定することにより,すべてのクラスにおいて負の確率で監督情報の形式を明らかにする。
次に,複数の2次回帰問題を解くことで,idとoodサンプル間のデータ相関を探索し,管理情報を推定し,idクラスをより分離可能にした。
我々は、ID分類能力とOOD検出能力の両方を達成する上で、監視適応方式のバランス効果を示すために、2つのIDデータセットと11のOODデータセットを持つ4つの先進ネットワークアーキテクチャの実験を行った。
関連論文リスト
- Semantic or Covariate? A Study on the Intractable Case of Out-of-Distribution Detection [70.57120710151105]
ID分布のセマンティック空間をより正確に定義する。
また,OOD と ID の区別性を保証する "Tractable OOD" の設定も定義する。
論文 参考訳（メタデータ） (2024-11-18T03:09:39Z) - Going Beyond Conventional OOD Detection [0.0]
アウト・オブ・ディストリビューション(OOD)検出は、重要なアプリケーションにディープラーニングモデルの安全なデプロイを保証するために重要である。
従来型OOD検出(ASCOOD)への統一的アプローチを提案する。
提案手法は, スパイラル相関の影響を効果的に軽減し, 微粒化特性の獲得を促す。
論文 参考訳（メタデータ） (2024-11-16T13:04:52Z) - What If the Input is Expanded in OOD Detection? [77.37433624869857]
Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。
In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。
入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
論文 参考訳（メタデータ） (2024-10-24T06:47:28Z) - Diffusion based Semantic Outlier Generation via Nuisance Awareness for Out-of-Distribution Detection [9.936136347796413]
アウト・オブ・ディストリビューション(OOD)検出は、最近、合成OODデータセットによるトレーニングを通じて有望な結果を示している。
本稿では, 難解な外乱を生じさせる新しいフレームワークであるセマンティック外乱生成手法(SONA)を提案する。
提案手法はSONAガイダンスを取り入れ,IDサンプルの意味領域とニュアンス領域を分離的に制御する。
論文 参考訳（メタデータ） (2024-08-27T07:52:44Z) - Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。
いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。
この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
論文 参考訳（メタデータ） (2024-06-14T09:27:56Z) - Distilling the Unknown to Unveil Certainty [66.29929319664167]
標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
論文 参考訳（メタデータ） (2023-11-14T08:05:02Z) - Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2023-11-06T16:26:52Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - Pseudo Outlier Exposure for Out-of-Distribution Detection using
Pretrained Transformers [3.8839179829686126]
拒否ネットワークは、テストOODサンプルを検出するために、IDと多様な外れ値サンプルで訓練することができる。
本稿では,Pseudo Outlier Exposure (POE) と呼ばれる手法を提案する。
本手法は外部OODデータを一切必要とせず,既製のトランスフォーマーで容易に実装できる。
論文 参考訳（メタデータ） (2023-07-18T17:29:23Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T15:38:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。