論文の概要: Is it all a cluster game? -- Exploring Out-of-Distribution Detection
based on Clustering in the Embedding Space
- arxiv url: http://arxiv.org/abs/2203.08549v1
- Date: Wed, 16 Mar 2022 11:22:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-17 21:42:47.942406
- Title: Is it all a cluster game? -- Exploring Out-of-Distribution Detection
based on Clustering in the Embedding Space
- Title（参考訳）: すべてクラスタゲームですか?
--埋め込み空間におけるクラスタリングに基づく分布外検出の探索
- Authors: Poulami Sinhamahapatra, Rajat Koner, Karsten Roscher, Stephan
G\"unnemann
- Abstract要約: 新しい入力がトレーニング分布と大きく異なるタイミングを決定するためには、ディープニューラルネットワークの安全性クリティカルな応用が不可欠である。
埋め込み空間におけるクラスタの構造と分離について検討し、教師付きコントラスト学習が十分に分離されたクラスタに繋がることを示す。
異なるトレーニング方法、クラスタリング戦略、距離メトリクス、しきい値設定アプローチの分析において、明確な勝者は存在しない。
- 参考スコア（独自算出の注目度）: 7.856998585396422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is essential for safety-critical applications of deep neural networks to
determine when new inputs are significantly different from the training
distribution. In this paper, we explore this out-of-distribution (OOD)
detection problem for image classification using clusters of semantically
similar embeddings of the training data and exploit the differences in distance
relationships to these clusters between in- and out-of-distribution data. We
study the structure and separation of clusters in the embedding space and find
that supervised contrastive learning leads to well-separated clusters while its
self-supervised counterpart fails to do so. In our extensive analysis of
different training methods, clustering strategies, distance metrics, and
thresholding approaches, we observe that there is no clear winner. The optimal
approach depends on the model architecture and selected datasets for in- and
out-of-distribution. While we could reproduce the outstanding results for
contrastive training on CIFAR-10 as in-distribution data, we find standard
cross-entropy paired with cosine similarity outperforms all contrastive
training methods when training on CIFAR-100 instead. Cross-entropy provides
competitive results as compared to expensive contrastive training methods.
- Abstract（参考訳）: 新しい入力がトレーニング分布と大きく異なるタイミングを決定するためには、ディープニューラルネットワークの安全性クリティカルな応用が不可欠である。
本稿では,トレーニングデータの意味的に類似した組込みのクラスタを用いた画像分類におけるod(out-of-distribution)検出問題を調査し,これらのクラスタ間の距離関係の差異を生かした。
組込み空間におけるクラスタの構造と分離について検討し、教師付きコントラスト学習が十分に分離されたクラスタに繋がる一方、自己教師型クラスタはそれを行うことができないことを示す。
さまざまなトレーニング方法、クラスタリング戦略、距離メトリクス、しきい値アプローチの広範な分析では、明確な勝者が存在しないことが分かりました。
最適なアプローチは、モデルアーキテクチャと、イン・オブ・オブ・ディストリビューションのための選択されたデータセットに依存する。
CIFAR-10のコントラストトレーニングを非分布データとして再現することができたが、コサイン類似性と組み合わせた標準的なクロスエントロピーは、CIFAR-100のトレーニングにおいて、全てのコントラストトレーニング方法よりも優れていた。
クロスエントロピーは、高価な対照的な訓練方法と比較して競争力のある結果をもたらす。
関連論文リスト
- Deep Clustering via Distribution Learning [7.437581715698929]
本稿では,分散学習によるクラスタリングの最適化を導く理論的解析を行う。
本稿では,クラスタリングのためのクラスタリング指向の分布学習手法であるMonte-Carlo Marginalizationを提案する。
提案したDeep Clustering via Distribution Learning (DCDL)は、一般的なデータセットの最先端の手法と比較して有望な結果が得られる。
論文 参考訳（メタデータ） (2024-08-06T19:01:47Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Reinforcement Federated Learning Method Based on Adaptive OPTICS
Clustering [19.73560248813166]
本稿では,フェデレート学習のための適応型OPTICSクラスタリングアルゴリズムを提案する。
クラスタリング環境をMarkov決定プロセスとして認識することで、OPTICSクラスタの最良のパラメータを見つけることがゴールです。
本手法の信頼性と実用性は, 実験データから検証され, 有効性と優越性が確認された。
論文 参考訳（メタデータ） (2023-06-22T13:11:19Z) - Deep Metric Learning Assisted by Intra-variance in A Semi-supervised
View of Learning [0.0]
ディープ・メトリック・ラーニングは、異なるクラスのサンプルが互いに遠く離れているのに対して、同じクラスのサンプルが互いに近い埋め込み空間を構築することを目的としている。
本稿では,従来の教師付き深度学習のためのクラス内分散学習スキームの半教師付きビューを提供する自己教師付き生成支援ランキングフレームワークを設計する。
論文 参考訳（メタデータ） (2023-04-21T13:30:32Z) - Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised
Person Re-Identification and Text Authorship Attribution [77.85461690214551]
完全ラベル付きデータからの学習は、Person Re-IdentificationやText Authorship Attributionなどのマルチメディアフォレスト問題において困難である。
近年の自己教師型学習法は,基礎となるクラスに意味的差異が有る場合に,完全ラベル付きデータを扱う際に有効であることが示されている。
本研究では,異なるクラスからのサンプルが顕著に多様性を持っていない場合でも,ラベルのないデータから学習できるようにすることにより,個人再認識とテキストオーサシップの属性に対処する戦略を提案する。
論文 参考訳（メタデータ） (2022-02-07T13:08:11Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - Accuracy on the Line: On the Strong Correlation Between
Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。
具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。
また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
論文 参考訳（メタデータ） (2021-07-09T19:48:23Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z) - Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。
トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。
トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
論文 参考訳（メタデータ） (2021-04-16T03:54:21Z) - LSD-C: Linearly Separable Deep Clusters [145.89790963544314]
ラベルなしデータセットのクラスタを識別する新しい手法であるLSD-Cを提案する。
本手法は,最近の半教師付き学習の実践からインスピレーションを得て,クラスタリングアルゴリズムと自己教師付き事前学習と強力なデータ拡張を組み合わせることを提案する。
CIFAR 10/100, STL 10, MNIST, および文書分類データセットReuters 10Kなど, 一般的な公開画像ベンチマークにおいて, 当社のアプローチが競合より大幅に優れていたことを示す。
論文 参考訳（メタデータ） (2020-06-17T17:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。