Fugu-MT 論文翻訳(概要): All4One: Symbiotic Neighbour Contrastive Learning via Self-Attention and Redundancy Reduction

論文の概要: All4One: Symbiotic Neighbour Contrastive Learning via Self-Attention and Redundancy Reduction

arxiv url: http://arxiv.org/abs/2303.09417v1
Date: Thu, 16 Mar 2023 15:51:59 GMT
ステータス: 処理完了
システム内更新日: 2023-03-17 14:54:26.540454
Title: All4One: Symbiotic Neighbour Contrastive Learning via Self-Attention and Redundancy Reduction
Title（参考訳）: All4One: 自己注意と冗長性軽減による共生的近隣コントラスト学習
Authors: Imanol G. Estepa, Ignacio Saras\'ua, Bhalaji Nagarajan, Petia Radeva
Abstract要約: 我々は、All4Oneと呼ばれる新しい対照的なSSLアプローチを提案する。我々は、Centroid Contrastingの目標と、1つのNeighbour ContrastingとFeature Contrastingの目標を使用する。この組み合わせにより、All4Oneは、線形分類評価において、人気のあるインスタンス識別アプローチを1%以上上回ることができる。
参考スコア（独自算出の注目度）: 7.773753676694698
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Nearest neighbour based methods have proved to be one of the most successful self-supervised learning (SSL) approaches due to their high generalization capabilities. However, their computational efficiency decreases when more than one neighbour is used. In this paper, we propose a novel contrastive SSL approach, which we call All4One, that reduces the distance between neighbour representations using ''centroids'' created through a self-attention mechanism. We use a Centroid Contrasting objective along with single Neighbour Contrasting and Feature Contrasting objectives. Centroids help in learning contextual information from multiple neighbours whereas the neighbour contrast enables learning representations directly from the neighbours and the feature contrast allows learning representations unique to the features. This combination enables All4One to outperform popular instance discrimination approaches by more than 1% on linear classification evaluation for popular benchmark datasets and obtains state-of-the-art (SoTA) results. Finally, we show that All4One is robust towards embedding dimensionalities and augmentations, surpassing NNCLR and Barlow Twins by more than 5% on low dimensionality and weak augmentation settings. The source code would be made available soon.
Abstract（参考訳）: 最も近い近隣の手法は、高い一般化能力のため、最も成功した自己教師付き学習(SSL)手法の1つであることが証明されている。しかし、その計算効率は複数の隣人が使用されると低下する。本稿では,all4one と呼ぶ新しいコントラスト型ssl方式を提案する。これは自己着脱機構を用いて作成した 'centroids' を用いて近傍表現間の距離を減少させるものである。我々は、Centroid Contrastingの目標と、1つのNeighbour ContrastingとFeature Contrastingの目標を使用する。セントロイドは複数の近傍から文脈情報を学ぶのに役立ち、隣接コントラストは近隣から直接学習表現を可能にし、特徴コントラストは特徴に固有の学習表現を可能にする。この組み合わせにより、All4Oneは人気のあるベンチマークデータセットの線形分類評価において、人気のあるインスタンス識別アプローチを1%以上上回り、最先端(SoTA)結果が得られる。最後に、All4Oneは、低次元と弱い拡張設定でNNCLRとBarlow Twinsを5%以上上回り、次元と拡張の埋め込みに対して堅牢であることを示す。ソースコードはまもなく公開される予定だ。

関連論文リスト

Nearest Neighbor-Based Contrastive Learning for Hyperspectral and LiDAR Data Classification [45.026868970899514]
本稿では,Nearest Neighbor-based Contrastive Learning Network (NNCNet)を提案する。具体的には,近隣地域間のセマンティック関係を強化した近傍データ拡張手法を提案する。さらに,HSIデータとLiDARデータ間の2次・高次特徴相互作用を生かしたバイリニアアテンションモジュールを設計する。
論文参考訳（メタデータ） (2023-01-09T13:43:54Z)
HiCo: Hierarchical Contrastive Learning for Ultrasound Video Model Pretraining [22.85475242323536]
自己監督型超音波(US)ビデオモデルプレトレーニングは、少量のラベル付きデータを用いて、米国の診断において最も有望な結果の1つを達成することができる。本研究では,階層型コントラスト学習(HiCo)手法を提案する。
論文参考訳（メタデータ） (2022-10-10T08:07:17Z)
Rethinking Robust Representation Learning Under Fine-grained Noisy Faces [8.813608801245008]
我々は、N-ID|KC-クラスタよりもきめ細かな方法で、各クラスのノイズタイプを再構成する。ノイズロバスト表現学習の主な障壁は、異なるN,K,Cの下でのアルゴリズムの柔軟性である。本研究では,巨大雑音面の潜伏空間を正確に記述する最適超平面を求めるために,Evolving Sub-centers Learning という新しい手法を提案する。
論文参考訳（メタデータ） (2022-08-08T18:18:57Z)
Constrained Mean Shift for Representation Learning [17.652439157554877]
我々は,新たな知識を活用できる非コントラスト表現学習法を開発した。本研究の主な目的は,近傍の探索空間を制約することで平均シフトアルゴリズムを一般化することである。本研究では,モダリティ間の雑音制約を利用して,自己教師付きビデオモデルのトレーニングを行うことが可能であることを示す。
論文参考訳（メタデータ） (2021-10-19T23:14:23Z)
A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文参考訳（メタデータ） (2021-08-05T15:58:25Z)
Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文参考訳（メタデータ） (2021-06-20T17:34:55Z)
With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
論文参考訳（メタデータ） (2021-04-29T17:56:08Z)
DMN4: Few-shot Learning via Discriminative Mutual Nearest Neighbor Neural Network [40.18613107849442]
少ないショット学習は、低データレギュレーション下でのイメージの分類を目的としている。近年の業績は深層ディスクリプタを用いて有望なパフォーマンスを達成している。各タスクに最も関連するクエリ記述子を明示的に選択するために、MNN(Mutual Nearest Neighbor)関係を提案します。
論文参考訳（メタデータ） (2021-03-15T06:57:09Z)
Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。深部自己注意を伴う識別的近傍分類を提示する。自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
論文参考訳（メタデータ） (2020-10-25T00:39:32Z)
Symbiotic Adversarial Learning for Attribute-based Person Search [86.7506832053208]
本稿では,共生学習の枠組みとして,共生学習の基盤に2つのGANを配置する。具体的には、2種類の生成的敵ネットワークがトレーニングプロセスを通して協調的に学習する。
論文参考訳（メタデータ） (2020-07-19T07:24:45Z)
Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
論文参考訳（メタデータ） (2020-07-17T15:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。