論文の概要: CLAWS: Contrastive Learning with hard Attention and Weak Supervision
- arxiv url: http://arxiv.org/abs/2112.00847v1
- Date: Wed, 1 Dec 2021 21:45:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 15:10:44.531783
- Title: CLAWS: Contrastive Learning with hard Attention and Weak Supervision
- Title（参考訳）: CLAWS: ハードアテンションと弱視による対照的な学習
- Authors: Jansel Herrera-Gerena, Ramakrishnan Sundareswaran, John Just, Matthew
Darr, Ali Jannesari
- Abstract要約: 本稿では,大規模農業データセットを手動でラベル付けする問題に対処する,アノテーション効率のよい学習フレームワークであるCLAWSを提案する。
CLAWSは、SimCLRにインスパイアされたネットワークバックボーンを使用して、クラスクラスタ内のコントラスト学習の影響を調べる。
本研究は,11種類の作物群からなる227,060検体を用いて,教師付きSimCLRとCLAWSの比較を行った。
- 参考スコア（独自算出の注目度）: 1.1619569706231647
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Learning effective visual representations without human supervision is a
long-standing problem in computer vision. Recent advances in self-supervised
learning algorithms have utilized contrastive learning, with methods such as
SimCLR, which applies a composition of augmentations to an image, and minimizes
a contrastive loss between the two augmented images. In this paper, we present
CLAWS, an annotation-efficient learning framework, addressing the problem of
manually labeling large-scale agricultural datasets along with potential
applications such as anomaly detection and plant growth analytics. CLAWS uses a
network backbone inspired by SimCLR and weak supervision to investigate the
effect of contrastive learning within class clusters. In addition, we inject a
hard attention mask to the cropped input image before maximizing agreement
between the image pairs using a contrastive loss function. This mask forces the
network to focus on pertinent object features and ignore background features.
We compare results between a supervised SimCLR and CLAWS using an agricultural
dataset with 227,060 samples consisting of 11 different crop classes. Our
experiments and extensive evaluations show that CLAWS achieves a competitive
NMI score of 0.7325. Furthermore, CLAWS engenders the creation of low
dimensional representations of very large datasets with minimal parameter
tuning and forming well-defined clusters, which lends themselves to using
efficient, transparent, and highly interpretable clustering methods such as
Gaussian Mixture Models.
- Abstract（参考訳）: 人間の監督なしに効果的な視覚表現を学ぶことは、コンピュータビジョンにおける長年の問題である。
自己教師付き学習アルゴリズムの最近の進歩は、画像に拡張の合成を適用するsimclrのような手法を用いて、コントラスト学習を利用し、2つの拡張画像間のコントラスト損失を最小化している。
本稿では,大規模農業データセットを手作業でラベル付けする問題に対して,異常検出や植物成長分析といった潜在的な応用の可能性に対処する,アノテーション効率の高い学習フレームワークであるclawsを提案する。
CLAWSは、SimCLRにインスパイアされたネットワークバックボーンを使用して、クラスクラスタ内のコントラスト学習の影響を調べる。
また、コントラスト損失関数を用いて画像対間の一致を最大化する前に、切り抜いた入力画像にハードアテンションマスクを注入する。
このマスクは、ネットワークを関連するオブジェクト機能に集中させ、バックグラウンド機能を無視します。
本研究は,11種類の作物群からなる227,060検体を用いて,教師付きSimCLRとCLAWSの比較を行った。
実験および広範囲な評価の結果,CLAWS のNMI スコアは 0.7325 であることがわかった。
さらに、CLAWSは、パラメータチューニングを最小限にし、明確に定義されたクラスタを形成する、非常に大きなデータセットの低次元表現を作成することを可能にし、ガウス混合モデルのような効率的で透明で、高度に解釈可能なクラスタリング手法を使用する。
関連論文リスト
- Dual Advancement of Representation Learning and Clustering for Sparse and Noisy Images [14.836487514037994]
SNI(Sparse and Noisy Image)は、効果的な表現学習とクラスタリングに重要な課題を提起する。
本稿では、マスク画像モデリングから得られた表現を強化するために、DARLC(Dual Advancement of Representation Learning and Clustering)を提案する。
我々のフレームワークは、局所的な認識性、特異性、関係意味論の理解を高めることによって、表現の学習を改善する包括的なアプローチを提供する。
論文 参考訳（メタデータ） (2024-09-03T10:52:27Z) - Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。
提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
論文 参考訳（メタデータ） (2024-05-17T19:49:02Z) - CUCL: Codebook for Unsupervised Continual Learning [129.91731617718781]
本研究は,教師なし連続学習(UCL)の代替として,教師なし連続学習(UCL)に焦点を当てている。
本稿では,教師なし連続学習のためのCodebook for Unsupervised Continual Learning (CUCL) という手法を提案する。
本手法は教師なしおよび教師なしの手法の性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-11-25T03:08:50Z) - CLC: Cluster Assignment via Contrastive Representation Learning [9.631532215759256]
コントラスト学習を用いてクラスタ割り当てを直接学習するコントラスト学習ベースのクラスタリング(CLC)を提案する。
完全なImageNetデータセットで53.4%の精度を実現し、既存のメソッドを大きなマージンで上回ります。
論文 参考訳（メタデータ） (2023-06-08T07:15:13Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳（メタデータ） (2022-10-17T17:57:46Z) - ACTIVE:Augmentation-Free Graph Contrastive Learning for Partial
Multi-View Clustering [52.491074276133325]
部分的マルチビュークラスタリングの問題を解決するために,拡張自由グラフコントラスト学習フレームワークを提案する。
提案手法は、インスタンスレベルのコントラスト学習と欠落データ推論をクラスタレベルに高め、個々の欠落データがクラスタリングに与える影響を効果的に軽減する。
論文 参考訳（メタデータ） (2022-03-01T02:32:25Z) - Weakly Supervised Contrastive Learning [68.47096022526927]
この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。
WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
論文 参考訳（メタデータ） (2021-10-10T12:03:52Z) - A Contrastive Learning Approach to Auroral Identification and
Classification [0.8399688944263843]
オーロラ画像分類の課題に対する教師なし学習の新たな応用法を提案する。
オーロラ画像の表現を学習するためのコントラスト学習(SimCLR)アルゴリズムを改良し,適応する。
当社のアプローチは、運用目的の確立されたしきい値を超え、デプロイメントと利用の準備ができていることを実証しています。
論文 参考訳（メタデータ） (2021-09-28T17:51:25Z) - Clustering by Maximizing Mutual Information Across Views [62.21716612888669]
本稿では,共同表現学習とクラスタリングを組み合わせた画像クラスタリングのための新しいフレームワークを提案する。
提案手法は,様々な画像データセットにおける最先端の単一ステージクラスタリング手法よりも優れていた。
論文 参考訳（メタデータ） (2021-07-24T15:36:49Z) - Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。
アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。
中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-18T07:47:10Z) - Contrastive Learning based Hybrid Networks for Long-Tailed Image
Classification [31.647639786095993]
画像表現の教師付きコントラスト損失と、分類器を学習するためのクロスエントロピー損失からなる新しいハイブリッドネットワーク構造を提案する。
3つの長尾分類データセットに関する実験は、長尾分類における比較学習に基づくハイブリッドネットワークの提案の利点を示している。
論文 参考訳（メタデータ） (2021-03-26T05:22:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。