論文の概要: Supervision Adaptation Balancing In-distribution Generalization and
Out-of-distribution Detection
- arxiv url: http://arxiv.org/abs/2206.09380v2
- Date: Mon, 2 Oct 2023 09:00:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 21:18:37.345385
- Title: Supervision Adaptation Balancing In-distribution Generalization and
Out-of-distribution Detection
- Title（参考訳）: 配当一般化と配当外検出とを併用した監督適応化
- Authors: Zhilin Zhao and Longbing Cao and Kun-Yu Lin
- Abstract要約: In-distribution (ID) と Out-of-distribution (OOD) のサンプルは、ディープニューラルネットワークにおけるtextitdistributionalな脆弱性を引き起こす可能性がある。
我々は,OODサンプルに対する適応的な監視情報を生成するために,新しいテクスツパービジョン適応手法を導入し,IDサンプルとの互換性を高めた。
- 参考スコア（独自算出の注目度）: 36.66825830101456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The discrepancy between in-distribution (ID) and out-of-distribution (OOD)
samples can lead to \textit{distributional vulnerability} in deep neural
networks, which can subsequently lead to high-confidence predictions for OOD
samples. This is mainly due to the absence of OOD samples during training,
which fails to constrain the network properly. To tackle this issue, several
state-of-the-art methods include adding extra OOD samples to training and
assign them with manually-defined labels. However, this practice can introduce
unreliable labeling, negatively affecting ID classification. The distributional
vulnerability presents a critical challenge for non-IID deep learning, which
aims for OOD-tolerant ID classification by balancing ID generalization and OOD
detection. In this paper, we introduce a novel \textit{supervision adaptation}
approach to generate adaptive supervision information for OOD samples, making
them more compatible with ID samples. Firstly, we measure the dependency
between ID samples and their labels using mutual information, revealing that
the supervision information can be represented in terms of negative
probabilities across all classes. Secondly, we investigate data correlations
between ID and OOD samples by solving a series of binary regression problems,
with the goal of refining the supervision information for more distinctly
separable ID classes. Our extensive experiments on four advanced network
architectures, two ID datasets, and eleven diversified OOD datasets demonstrate
the efficacy of our supervision adaptation approach in improving both ID
classification and OOD detection capabilities.
- Abstract（参考訳）: In-distribution (ID) と Out-of-distribution (OOD) の区別は、ディープニューラルネットワークにおける \textit{distributional weak} につながる可能性がある。
これは主にトレーニング中にOODサンプルが存在しないためであり、ネットワークを適切に制約することができない。
この問題に対処するため、いくつかの最先端メソッドでは、トレーニングに追加のOODサンプルを追加し、手動で定義したラベルを割り当てる。
しかし、この慣行は信頼できないラベリングを導入し、ID分類に悪影響を及ぼす。
分散脆弱性は,IDの一般化とOOD検出のバランスをとることで,OOD耐性IDの分類を目指す非IIDディープラーニングにとって重要な課題である。
本稿では,OODサンプルに対する適応的な監視情報を生成するために,新しい‘textit{supervision adaptation} アプローチを導入し,IDサンプルとの互換性を高める。
まず,IDサンプルとラベル間の依存関係を相互情報を用いて測定し,すべてのクラスにおいて負の確率で監視情報を表現できることを明らかにする。
次に,idとoodサンプル間のデータ相関を,より明確に分離可能なidクラスに対する監督情報を精査することを目的として,バイナリ回帰問題を解いて検討する。
先進的な4つのネットワークアーキテクチャ,2つのIDデータセット,11の多様化されたOODデータセットに関する広範な実験により,ID分類とOOD検出機能の改善において,我々の監視適応アプローチの有効性が示された。
関連論文リスト
- What If the Input is Expanded in OOD Detection? [77.37433624869857]
Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。
In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。
入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
論文 参考訳（メタデータ） (2024-10-24T06:47:28Z) - Diffusion based Semantic Outlier Generation via Nuisance Awareness for Out-of-Distribution Detection [9.936136347796413]
アウト・オブ・ディストリビューション(OOD)検出は、最近、合成OODデータセットによるトレーニングを通じて有望な結果を示している。
本稿では, 難解な外乱を生じさせる新しいフレームワークであるセマンティック外乱生成手法(SONA)を提案する。
提案手法はSONAガイダンスを取り入れ,IDサンプルの意味領域とニュアンス領域を分離的に制御する。
論文 参考訳（メタデータ） (2024-08-27T07:52:44Z) - Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。
いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。
この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
論文 参考訳（メタデータ） (2024-06-14T09:27:56Z) - When and How Does In-Distribution Label Help Out-of-Distribution Detection? [38.874518492468965]
本稿では,OOD検出におけるIDラベルの影響を理論的に説明するための公式な理解を提供する。
我々は,OODデータからのIDデータの分離性について,グラフ理論を用いて厳密に解析する。
我々は、シミュレーションと実データの両方に経験的な結果を示し、理論的保証を検証し、洞察を補強する。
論文 参考訳（メタデータ） (2024-05-28T22:34:53Z) - Distilling the Unknown to Unveil Certainty [66.29929319664167]
標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
論文 参考訳（メタデータ） (2023-11-14T08:05:02Z) - Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2023-11-06T16:26:52Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - Pseudo Outlier Exposure for Out-of-Distribution Detection using
Pretrained Transformers [3.8839179829686126]
拒否ネットワークは、テストOODサンプルを検出するために、IDと多様な外れ値サンプルで訓練することができる。
本稿では,Pseudo Outlier Exposure (POE) と呼ばれる手法を提案する。
本手法は外部OODデータを一切必要とせず,既製のトランスフォーマーで容易に実装できる。
論文 参考訳（メタデータ） (2023-07-18T17:29:23Z) - Exploration and Exploitation of Unlabeled Data for Open-Set
Semi-Supervised Learning [130.56124475528475]
半教師付き学習 (SSL) において, 未ラベルデータには, 内分布 (ID) と外分布 (OOD) の両方を含む, オープンセット SSL という複雑なシナリオに対処する。
提案手法は, 未ラベルデータにIDサンプルが完全に欠落している場合でも, 既存のSSL方式を改良する。
論文 参考訳（メタデータ） (2023-06-30T14:25:35Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T15:38:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。