論文の概要: Batch Curation for Unsupervised Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2108.08643v1
• Date: Thu, 19 Aug 2021 12:14:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-20 14:23:23.123719
• Title: Batch Curation for Unsupervised Contrastive Representation Learning
• Title（参考訳）: 教師なしコントラスト表現学習のためのバッチキュレーション
• Authors: Michael C. Welle, Petra Poklukar and Danica Kragic
• Abstract要約: そこで本研究では,学習過程におけるバッチの選択を基本となるコントラスト目標とよりインラインに行うためのtextitbatch キュレーション手法を提案する。 CIFAR10 上での Textitbatch のキュレーションの検証だけでなく, 類似性, 相同性, 相同性, 相同性, 相同性, 相同性, 相同性などについて考察した。
• 参考スコア（独自算出の注目度）: 21.83249229426828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The state-of-the-art unsupervised contrastive visual representation learning methods that have emerged recently (SimCLR, MoCo, SwAV) all make use of data augmentations in order to construct a pretext task of instant discrimination consisting of similar and dissimilar pairs of images. Similar pairs are constructed by randomly extracting patches from the same image and applying several other transformations such as color jittering or blurring, while transformed patches from different image instances in a given batch are regarded as dissimilar pairs. We argue that this approach can result similar pairs that are \textit{semantically} dissimilar. In this work, we address this problem by introducing a \textit{batch curation} scheme that selects batches during the training process that are more inline with the underlying contrastive objective. We provide insights into what constitutes beneficial similar and dissimilar pairs as well as validate \textit{batch curation} on CIFAR10 by integrating it in the SimCLR model.
• Abstract（参考訳）: SimCLR, MoCo, SwAV) が最近出現した最先端の教師なしのコントラクティブな視覚表現学習手法は, 画像の類似および異種対からなる即時識別のプリテキストタスクを構築するために, すべてデータ拡張を利用する。 類似したペアは、同じイメージからランダムにパッチを抽出し、カラージッタリングやぼかしといった他の変換を適用して構成されるが、あるバッチ内の異なるイメージインスタンスからの変換されたパッチは、異なる類似のペアと見なされる。 このアプローチは、 \textit{semantically} と異なる類似のペアをもたらすことができる。 本稿では,基礎となるコントラスト目標とインラインなトレーニングプロセス中にバッチを選択する \textit{batch curation}スキームを導入することで,この問題に対処する。 simclrモデルに組み込むことで、cifar10上の \textit{batch curation} を検証するだけでなく、有益で異なるペアを構成するものについての洞察を提供する。

関連論文リスト

• Patch-Wise Self-Supervised Visual Representation Learning: A Fine-Grained Approach [4.9204263448542465]
  本研究は、パッチレベルの識別を自己教師付き視覚表現学習に組み込むことにより、革新的できめ細かな次元を導入する。 それぞれのパッチは個別に拡張され、同じビュー内の他のパッチとは独立している。 我々は、拡張ビュー全体にわたって対応するパッチを見つけるための、単純で効果的なパッチマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-28T09:35:30Z)
• Inter-Instance Similarity Modeling for Contrastive Learning [22.56316444504397]
  視覚変換器(ViT)におけるコントラスト学習のための新しい画像混合手法であるPatchMixを提案する。 既存のサンプルミキシング手法と比較して、我々のPatchMixは2つ以上の画像を柔軟に効率的に混ぜることができる。 提案手法は,ImageNet-1KとCIFARの両方のデータセットにおいて,従来の最先端技術よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-06-21T13:03:47Z)
• Asymmetric Patch Sampling for Contrastive Learning [17.922853312470398]
  正対間の非対称な出現は、対照的な学習における表現劣化のリスクを効果的に減少させる。 比較学習のための新しい非対称なパッチサンプリング戦略を提案し、より良い表現のために外見非対称性を高める。
  論文  参考訳（メタデータ） (2023-06-05T13:10:48Z)
• Improving Cross-Modal Retrieval with Set of Diverse Embeddings [19.365974066256026]
  画像とテキストのモダリティを横断するクロスモーダル検索は、その固有の曖昧さのために難しい課題である。 この問題の解決策として、セットベースの埋め込みが研究されている。 本稿では,従来の2つの側面において異なる,新しい集合ベースの埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T05:59:23Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Seed the Views: Hierarchical Semantic Alignment for Contrastive Representation Learning [116.91819311885166]
  一つの画像から生成されたビューをtextbfCross-samples や Multi-level representation に拡張することで,階層的なセマンティックアライメント戦略を提案する。 提案手法はCsMlと呼ばれ,サンプル間の多層視覚表現を堅牢な方法で統合する機能を備えている。
  論文  参考訳（メタデータ） (2020-12-04T17:26:24Z)
• Support-set bottlenecks for video-text representation learning [131.4161071785107]
  ビデオテキスト表現(ノイズコントラスト学習)を学ぶための支配的なパラダイムは厳しすぎる。 本稿では,これらのサンプルを自然に押下する生成モデルを活用することによって,これを緩和する手法を提案する。 提案手法は,MSR-VTT,VATEX,ActivityNet,MSVDにおいて,ビデオ・テキスト・テキスト・ビデオ検索やテキスト・トゥ・ビデオ検索において,他よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-06T15:38:54Z)
• Contrastive Learning for Unpaired Image-to-Image Translation [64.47477071705866]
  画像から画像への変換では、出力の各パッチは、入力中の対応するパッチの内容を、ドメインに依存しない形で反映すべきである。 本研究では,両者の相互情報を最大化するために,コントラスト学習に基づく枠組みを提案する。 筆者らのフレームワークは、画質の向上とトレーニング時間の短縮を図りながら、画像から画像への翻訳設定の一方的な翻訳を可能にすることを実証している。
  論文  参考訳（メタデータ） (2020-07-30T17:59:58Z)
• Unsupervised Landmark Learning from Unpaired Data [117.81440795184587]
  教師なしランドマーク学習の最近の試みは、外観は似ているがポーズでは異なる合成画像対を活用する。 本稿では,2回スワッピング・リコンストラクション・ストラテジーを適用して最終監視を行うクロスイメージ・サイクル整合性フレームワークを提案する。 提案するフレームワークは,強いベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-29T13:57:20Z)
• Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning [108.999497144296]
  近年の先進的な教師なし学習手法では,同じ画像から2つの「ビュー」を学習表現として比較するために,サイムズ様の枠組みを用いている。 この研究は、教師なし学習においてラベル空間上の距離の概念を巻き込み、正対と負対のソフトな類似度をモデルに認識させることを目的としている。 その概念的単純さにもかかわらず、この解 -- 教師なし画像混合(Un-Mix)により、変換された入力と対応する新しいラベル空間からより微妙でより堅牢で一般化された表現を学習できることを実証的に示す。
  論文  参考訳（メタデータ） (2020-03-11T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。