論文の概要: Label and Distribution-discriminative Dual Representation Learning for
Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2206.09387v1
- Date: Sun, 19 Jun 2022 12:11:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 17:51:26.071187
- Title: Label and Distribution-discriminative Dual Representation Learning for
Out-of-Distribution Detection
- Title（参考訳）: 分布外検出のためのラベルと分布判別型二重表現学習
- Authors: Zhilin Zhao and Longbing Cao
- Abstract要約: ディープニューラルネットワークは、情報ボトルネックに応じて必ずしも分布差別的なラベル識別表現を学習する。
Dual Representation Learning (DRL) 法は, 分布-識別的表現を, 分布内サンプルのラベル付けに弱い関係で学習する。
実験の結果,DRLは分布外検出の最先端手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 43.10024825963663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To classify in-distribution samples, deep neural networks learn
label-discriminative representations, which, however, are not necessarily
distribution-discriminative according to the information bottleneck. Therefore,
trained networks could assign unexpected high-confidence predictions to
out-of-distribution samples drawn from distributions differing from that of
in-distribution samples. Specifically, networks extract the strongly
label-related information from in-distribution samples to learn the
label-discriminative representations but discard the weakly label-related
information. Accordingly, networks treat out-of-distribution samples with
minimum label-sensitive information as in-distribution samples. According to
the different informativeness properties of in- and out-of-distribution
samples, a Dual Representation Learning (DRL) method learns
distribution-discriminative representations that are weakly related to the
labeling of in-distribution samples and combines label- and
distribution-discriminative representations to detect out-of-distribution
samples. For a label-discriminative representation, DRL constructs the
complementary distribution-discriminative representation by an implicit
constraint, i.e., integrating diverse intermediate representations where an
intermediate representation less similar to the label-discriminative
representation owns a higher weight. Experiments show that DRL outperforms the
state-of-the-art methods for out-of-distribution detection.
- Abstract（参考訳）: 分散サンプルを分類するために、ディープニューラルネットワークはラベル識別表現を学習するが、情報ボトルネックに応じて必ずしも分布識別表現ではない。
そのため、トレーニングされたネットワークは、分布から引き出された分布外サンプルに、予想外の高信頼予測を割り当てることができる。
特に、ネットワークは、分布サンプルから強いラベル関連情報を抽出してラベル識別表現を学習するが、弱いラベル関連情報を破棄する。
したがって、ネットワークは、最小限のラベルに敏感な情報を含む分配外サンプルを分配内サンプルとして扱う。
二重表現学習(drl)法は、分布内および分布外サンプルの異なる情報性特性に応じて、分布内サンプルのラベル付けに弱い分布判別表現を学習し、ラベルおよび分布判別表現を結合して分布外サンプルを検出する。
ラベル識別表現に対して、DRLは暗黙の制約により相補的な分布識別表現を構築する、すなわちラベル識別表現とあまり類似しない中間表現がより高い重みを持つような多様な中間表現を統合する。
実験の結果,DRLは分布外検出の最先端手法よりも優れていた。
関連論文リスト
- Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳（メタデータ） (2022-12-06T07:38:29Z) - Label distribution learning via label correlation grid [9.340734188957727]
ラベル関係の不確かさをモデル化するための textbfLabel textbfCorrelation textbfGrid (LCG) を提案する。
我々のネットワークはLCGを学習し、各インスタンスのラベル分布を正確に推定する。
論文 参考訳（メタデータ） (2022-10-15T03:58:15Z) - Out-of-distribution Detection by Cross-class Vicinity Distribution of
In-distribution Data [36.66825830101456]
画像分類のためのディープニューラルネットワークは、トレーニングにおいて、インディストリビューション入力を対応する基底真理ラベルにマップすることしか学ばない。
これは、全てのサンプルが独立であり、同一に分散しているという仮定から生じる。
textitCross-class Vicinity Distributionは、複数のin-distributionサンプルを混合したアウト・オブ・ディストリビューションサンプルが、その構成成分の同じクラスを共有していないことを仮定して導入される。
論文 参考訳（メタデータ） (2022-06-19T12:03:33Z) - Gray Learning from Non-IID Data with Out-of-distribution Samples [45.788789553551176]
専門家が注釈を付けたとしても、トレーニングデータの完全性は保証されていない。
我々は,基本真実と相補的ラベルを両立させる新しいアプローチであるtextitGray Learningを導入する。
統計学習理論における我々のアプローチを基礎として、一般化誤差の境界を導出し、GLが非IID設定でも厳密な制約を達成できることを実証する。
論文 参考訳（メタデータ） (2022-06-19T10:46:38Z) - Disentangling Sampling and Labeling Bias for Learning in Large-Output
Spaces [64.23172847182109]
異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。
すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
論文 参考訳（メタデータ） (2021-05-12T15:40:13Z) - Multi-Class Data Description for Out-of-distribution Detection [25.853322158250435]
Deep-MCDDは、分布外(OOD)サンプルを検出するだけでなく、分布内(ID)サンプルを分類するのに効果的です。
ガウス微分分析の概念をディープニューラルネットワークに統合することにより,クラス条件分布を学習する深層学習目標を提案する。
論文 参考訳（メタデータ） (2021-04-02T08:41:51Z) - Capturing Label Distribution: A Case Study in NLI [19.869498599986006]
予測されたラベルエントロピーに一致する予測されたラベル分布のポストホックスムージングは非常に効果的です。
トレーニングに複数の参照を持つ少数の例を紹介します。
論文 参考訳（メタデータ） (2021-02-13T04:14:31Z) - Mining Label Distribution Drift in Unsupervised Domain Adaptation [78.2452946757045]
本稿では,データ分散のシフトとラベル分布のドリフトを協調的に処理するためのラベル分布マッチング・ドメイン・アドバイザリアル・ネットワーク(LMDAN)を提案する。
実験により, LMDANはラベル分布のドリフトに優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2020-06-16T23:41:42Z) - Global Distance-distributions Separation for Unsupervised Person
Re-identification [93.39253443415392]
既存の教師なしのReIDアプローチは、距離ベースのマッチング/ランク付けを通じて正のサンプルと負のサンプルを正しく識別するのに失敗することが多い。
本研究では,2つの分布に対する大域的距離分布分離の制約を導入し,大域的視点から正と負のサンプルを明確に分離することを奨励する。
本研究では,本手法がベースラインを大幅に改善し,最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2020-06-01T07:05:39Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。