論文の概要: Is it all a cluster game? -- Exploring Out-of-Distribution Detection based on Clustering in the Embedding Space

• arxiv url: http://arxiv.org/abs/2203.08549v1
• Date: Wed, 16 Mar 2022 11:22:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 21:42:47.942406
• Title: Is it all a cluster game? -- Exploring Out-of-Distribution Detection based on Clustering in the Embedding Space
• Title（参考訳）: すべてクラスタゲームですか? --埋め込み空間におけるクラスタリングに基づく分布外検出の探索
• Authors: Poulami Sinhamahapatra, Rajat Koner, Karsten Roscher, Stephan G\"unnemann
• Abstract要約: 新しい入力がトレーニング分布と大きく異なるタイミングを決定するためには、ディープニューラルネットワークの安全性クリティカルな応用が不可欠である。 埋め込み空間におけるクラスタの構造と分離について検討し、教師付きコントラスト学習が十分に分離されたクラスタに繋がることを示す。 異なるトレーニング方法、クラスタリング戦略、距離メトリクス、しきい値設定アプローチの分析において、明確な勝者は存在しない。
• 参考スコア（独自算出の注目度）: 7.856998585396422
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is essential for safety-critical applications of deep neural networks to determine when new inputs are significantly different from the training distribution. In this paper, we explore this out-of-distribution (OOD) detection problem for image classification using clusters of semantically similar embeddings of the training data and exploit the differences in distance relationships to these clusters between in- and out-of-distribution data. We study the structure and separation of clusters in the embedding space and find that supervised contrastive learning leads to well-separated clusters while its self-supervised counterpart fails to do so. In our extensive analysis of different training methods, clustering strategies, distance metrics, and thresholding approaches, we observe that there is no clear winner. The optimal approach depends on the model architecture and selected datasets for in- and out-of-distribution. While we could reproduce the outstanding results for contrastive training on CIFAR-10 as in-distribution data, we find standard cross-entropy paired with cosine similarity outperforms all contrastive training methods when training on CIFAR-100 instead. Cross-entropy provides competitive results as compared to expensive contrastive training methods.
• Abstract（参考訳）: 新しい入力がトレーニング分布と大きく異なるタイミングを決定するためには、ディープニューラルネットワークの安全性クリティカルな応用が不可欠である。 本稿では,トレーニングデータの意味的に類似した組込みのクラスタを用いた画像分類におけるod(out-of-distribution)検出問題を調査し,これらのクラスタ間の距離関係の差異を生かした。 組込み空間におけるクラスタの構造と分離について検討し、教師付きコントラスト学習が十分に分離されたクラスタに繋がる一方、自己教師型クラスタはそれを行うことができないことを示す。 さまざまなトレーニング方法、クラスタリング戦略、距離メトリクス、しきい値アプローチの広範な分析では、明確な勝者が存在しないことが分かりました。 最適なアプローチは、モデルアーキテクチャと、イン・オブ・オブ・ディストリビューションのための選択されたデータセットに依存する。 CIFAR-10のコントラストトレーニングを非分布データとして再現することができたが、コサイン類似性と組み合わせた標準的なクロスエントロピーは、CIFAR-100のトレーニングにおいて、全てのコントラストトレーニング方法よりも優れていた。 クロスエントロピーは、高価な対照的な訓練方法と比較して競争力のある結果をもたらす。

関連論文リスト

• Reasoning for Complex Data through Ensemble-based Self-Supervised Learning [77.49763012201429]
  最近の研究は、基礎となるクラスが意味的に大きな違いがある場合、印象的な結果を示している。 一般的な自己教師付き学習手法は、クラスがより近いセマンティクスを持つ場合、識別的特徴を学習できない。 本稿では,この課題に対処し,異なるクラスからのサンプルが顕著に多様性がない場合でも,ラベルのないデータから学習できるようにする戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-07T13:08:11Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Cluster Analysis with Deep Embeddings and Contrastive Learning [0.0]
  本研究は,深層埋め込みから画像クラスタリングを行うための新しいフレームワークを提案する。 提案手法では,クラスタセンターの表現をエンドツーエンドで学習し,予測する。 我々のフレームワークは広く受け入れられているクラスタリング手法と同等に動作し、CIFAR-10データセット上で最先端のコントラスト学習手法より優れています。
  論文  参考訳（メタデータ） (2021-09-26T22:18:15Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Semi-Decentralized Federated Edge Learning for Fast Convergence on Non-IID Data [3.983055670167878]
  フェデレーテッドエッジラーニング(FEEL)は、クラウドベースの機械学習ソリューションにおける大きな通信遅延を減らす効果的な代替手段として登場しました。 半分散フェデレーションエッジラーニング(SD-FEEL)という新しいFEELの枠組みについて検討する。 SD-FEELは、異なるエッジクラスタ間のモデルアグリゲーションを可能にすることで、トレーニングの遅延を低減し、学習パフォーマンスを向上させるFEELの利点を享受します。
  論文  参考訳（メタデータ） (2021-04-26T16:11:47Z)
• Deep Stable Learning for Out-Of-Distribution Generalization [27.437046504902938]
  深層ニューラルネットワークに基づくアプローチは、同様の分布を持つデータとトレーニングデータをテストする際に顕著なパフォーマンスを達成した。 トレーニングとテストデータ間の分散シフトの影響を排除することは、パフォーマンス向上の深層モデルの構築に不可欠です。 トレーニングサンプルの学習重みによる特徴間の依存関係を除去し,この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-04-16T03:54:21Z)
• Network Classifiers Based on Social Learning [71.86764107527812]
  空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。 提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。 この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
  論文  参考訳（メタデータ） (2020-10-23T11:18:20Z)
• LSD-C: Linearly Separable Deep Clusters [145.89790963544314]
  ラベルなしデータセットのクラスタを識別する新しい手法であるLSD-Cを提案する。 本手法は,最近の半教師付き学習の実践からインスピレーションを得て,クラスタリングアルゴリズムと自己教師付き事前学習と強力なデータ拡張を組み合わせることを提案する。 CIFAR 10/100, STL 10, MNIST, および文書分類データセットReuters 10Kなど, 一般的な公開画像ベンチマークにおいて, 当社のアプローチが競合より大幅に優れていたことを示す。
  論文  参考訳（メタデータ） (2020-06-17T17:58:10Z)
• Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
  我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-06-16T03:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。