論文の概要: Understanding normalization in contrastive representation learning and out-of-distribution detection

• arxiv url: http://arxiv.org/abs/2312.15288v1
• Date: Sat, 23 Dec 2023 16:05:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 18:53:15.448194
• Title: Understanding normalization in contrastive representation learning and out-of-distribution detection
• Title（参考訳）: コントラスト表現学習と分散検出における正規化の理解
• Authors: Tai Le-Gia, Jaehyun Ahn
• Abstract要約: コントラッシブ・ラーニングに基づく簡易な手法を提案し, コントラッシブ・ラーニング空間における正規サンプルを識別することにより, 分布外データを含む手法を提案する。 われわれのアプローチは、OE(outlier exposure)アプローチや、完全に自己教師付き学習アプローチとして柔軟に適用できる。 対照的な学習を通じて学んだ高品質な機能は、利用可能なアウト・オブ・ディストリビューションデータセットが十分な多様性を持っていない場合でも、OEシナリオのパフォーマンスを一貫して向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Contrastive representation learning has emerged as an outstanding approach for anomaly detection. In this work, we explore the $\ell_2$-norm of contrastive features and its applications in out-of-distribution detection. We propose a simple method based on contrastive learning, which incorporates out-of-distribution data by discriminating against normal samples in the contrastive layer space. Our approach can be applied flexibly as an outlier exposure (OE) approach, where the out-of-distribution data is a huge collective of random images, or as a fully self-supervised learning approach, where the out-of-distribution data is self-generated by applying distribution-shifting transformations. The ability to incorporate additional out-of-distribution samples enables a feasible solution for datasets where AD methods based on contrastive learning generally underperform, such as aerial images or microscopy images. Furthermore, the high-quality features learned through contrastive learning consistently enhance performance in OE scenarios, even when the available out-of-distribution dataset is not diverse enough. Our extensive experiments demonstrate the superiority of our proposed method under various scenarios, including unimodal and multimodal settings, with various image datasets.
• Abstract（参考訳）: コントラスト表現学習は異常検出のための優れたアプローチとして現れている。 本研究では,コントラスト特徴の$\ell_2$-normとその分散検出への応用について検討する。 本研究では,コントラスト層空間における正規サンプルと判別することにより,分散データを取り入れたコントラスト学習に基づく簡易な手法を提案する。 本手法は,アウトオブディストリビューションデータがランダム画像の巨大な集合であるアウトリアー露光(oe)アプローチや,分散シフト変換を適用してアウトオブディストリビューションデータを自己生成する完全自己教師あり学習アプローチとして柔軟に適用することができる。 追加のアウト・オブ・ディストリビューション・サンプルを組み込むことで、航空画像や顕微鏡画像など、対照的な学習に基づくADメソッドが一般的にパフォーマンスの低いデータセットに対して実現可能なソリューションが可能になる。 さらに、コントラスト学習を通じて学んだ高品質な機能は、利用可能な分散外データセットが十分に多様化していない場合でも、oeシナリオのパフォーマンスを一貫して向上させます。 提案手法は,画像データセットを用いて,ユニモーダル設定やマルチモーダル設定を含む様々なシナリオにおいて優れていることを示す。

関連論文リスト

• Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data [8.946847190099206]
  異種データに基づく分散学習のための新しい手法を提案する。 一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。 実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T14:48:23Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Visual Recognition with Deep Learning from Biased Image Datasets [6.10183951877597]
  視覚認知の文脈において、バイアスモデルがどのように治療問題に適用できるかを示す。 作業中のバイアス機構に関する(近似的な)知識に基づいて、我々のアプローチは観察を再重み付けする。 本稿では,画像データベース間で共有される低次元画像表現を提案する。
  論文  参考訳（メタデータ） (2021-09-06T10:56:58Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
  我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-06-16T03:43:59Z)
• Variational Clustering: Leveraging Variational Autoencoders for Image Clustering [8.465172258675763]
  変分オートエンコーダ(VAE)は、潜在空間におけるデータ分布の学習に自然に役立ちます。 画像のクラスタリングに先立ってガウス混合を用いるVAEに基づく手法を提案する。 提案手法は,画像の潜伏分布と後部を捉える前処理を同時に学習し,データポイント間の識別に役立てる。
  論文  参考訳（メタデータ） (2020-05-10T09:34:48Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。