論文の概要: All4One: Symbiotic Neighbour Contrastive Learning via Self-Attention and Redundancy Reduction

• arxiv url: http://arxiv.org/abs/2303.09417v1
• Date: Thu, 16 Mar 2023 15:51:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 14:54:26.540454
• Title: All4One: Symbiotic Neighbour Contrastive Learning via Self-Attention and Redundancy Reduction
• Title（参考訳）: All4One: 自己注意と冗長性軽減による共生的近隣コントラスト学習
• Authors: Imanol G. Estepa, Ignacio Saras\'ua, Bhalaji Nagarajan, Petia Radeva
• Abstract要約: 我々は、All4Oneと呼ばれる新しい対照的なSSLアプローチを提案する。 我々は、Centroid Contrastingの目標と、1つのNeighbour ContrastingとFeature Contrastingの目標を使用する。 この組み合わせにより、All4Oneは、線形分類評価において、人気のあるインスタンス識別アプローチを1%以上上回ることができる。
• 参考スコア（独自算出の注目度）: 7.773753676694698
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Nearest neighbour based methods have proved to be one of the most successful self-supervised learning (SSL) approaches due to their high generalization capabilities. However, their computational efficiency decreases when more than one neighbour is used. In this paper, we propose a novel contrastive SSL approach, which we call All4One, that reduces the distance between neighbour representations using ''centroids'' created through a self-attention mechanism. We use a Centroid Contrasting objective along with single Neighbour Contrasting and Feature Contrasting objectives. Centroids help in learning contextual information from multiple neighbours whereas the neighbour contrast enables learning representations directly from the neighbours and the feature contrast allows learning representations unique to the features. This combination enables All4One to outperform popular instance discrimination approaches by more than 1% on linear classification evaluation for popular benchmark datasets and obtains state-of-the-art (SoTA) results. Finally, we show that All4One is robust towards embedding dimensionalities and augmentations, surpassing NNCLR and Barlow Twins by more than 5% on low dimensionality and weak augmentation settings. The source code would be made available soon.
• Abstract（参考訳）: 最も近い近隣の手法は、高い一般化能力のため、最も成功した自己教師付き学習(SSL)手法の1つであることが証明されている。 しかし、その計算効率は複数の隣人が使用されると低下する。 本稿では,all4one と呼ぶ新しいコントラスト型ssl方式を提案する。これは自己着脱機構を用いて作成した 'centroids' を用いて近傍表現間の距離を減少させるものである。 我々は、Centroid Contrastingの目標と、1つのNeighbour ContrastingとFeature Contrastingの目標を使用する。 セントロイドは複数の近傍から文脈情報を学ぶのに役立ち、隣接コントラストは近隣から直接学習表現を可能にし、特徴コントラストは特徴に固有の学習表現を可能にする。 この組み合わせにより、All4Oneは人気のあるベンチマークデータセットの線形分類評価において、人気のあるインスタンス識別アプローチを1%以上上回り、最先端(SoTA)結果が得られる。 最後に、All4Oneは、低次元と弱い拡張設定でNNCLRとBarlow Twinsを5%以上上回り、次元と拡張の埋め込みに対して堅牢であることを示す。 ソースコードはまもなく公開される予定だ。

関連論文リスト

• Single-View Graph Contrastive Learning with Soft Neighborhood Awareness [12.703453683212283]
  グラフコントラッシブ・ラーニング(GCL)の手法の多くは、クロスビューコントラストに大きく依存している。 本稿では,新しいシングルビューグラフコントラスト学習フレームワークttSIGNAを提案する。 多様なノードレベルのタスクの実験は、我々の単純な単一ビューGCLフレームワークが21.74%(PPI)のマージンで既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2024-12-12T13:20:23Z)
• Contrastive Learning with Synthetic Positives [11.932323457691945]
  近隣住民との対比学習は、最も効率的な自己教師付き学習(SSL)技術の1つであることが証明されている。 本稿では,NCLP(Contrastive Learning with Synthetic Positives)という新しいアプローチを提案する。 NCLPは、無条件拡散モデルによって生成された合成画像を利用して、モデルが多様な正から学ぶのに役立つ追加の正として利用する。
  論文  参考訳（メタデータ） (2024-08-30T01:47:43Z)
• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• Pose-Guided Self-Training with Two-Stage Clustering for Unsupervised Landmark Discovery [17.455841673719625]
  オブジェクトカテゴリの教師なしランドマーク発見(ULD)は、コンピュータビジョンの問題である。 堅牢な ULD フレームワークの開発を追求するために,拡散モデルとして知られる,近年の自己教師型学習アルゴリズムの可能性を探る。 提案手法は, AFLW, MAFL, CatHeads, LS3Dの4つの挑戦的ベンチマークにおいて, 最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-03-24T15:24:04Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
  我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。 これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-20T17:34:55Z)
• DMN4: Few-shot Learning via Discriminative Mutual Nearest Neighbor Neural Network [40.18613107849442]
  少ないショット学習は、低データレギュレーション下でのイメージの分類を目的としている。 近年の業績は深層ディスクリプタを用いて有望なパフォーマンスを達成している。 各タスクに最も関連するクエリ記述子を明示的に選択するために、MNN(Mutual Nearest Neighbor)関係を提案します。
  論文  参考訳（メタデータ） (2021-03-15T06:57:09Z)
• Symbiotic Adversarial Learning for Attribute-based Person Search [86.7506832053208]
  本稿では,共生学習の枠組みとして,共生学習の基盤に2つのGANを配置する。 具体的には、2種類の生成的敵ネットワークがトレーニングプロセスを通して協調的に学習する。
  論文  参考訳（メタデータ） (2020-07-19T07:24:45Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。