論文の概要: Information-guided pixel augmentation for pixel-wise contrastive learning

• arxiv url: http://arxiv.org/abs/2211.07118v1
• Date: Mon, 14 Nov 2022 05:12:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 18:34:50.144380
• Title: Information-guided pixel augmentation for pixel-wise contrastive learning
• Title（参考訳）: ピクセル間コントラスト学習のための情報誘導型画素拡張
• Authors: Quan Quan and Qingsong Yao and Jun Li and S.kevin Zhou
• Abstract要約: ピクセルワイドコントラスト学習は、医学的ランドマーク検出のようなピクセルワイドなタスクに役立つ。 そこで本研究では,教師なし画素単位のコントラスト学習を改善するために,画素粒度を有する画素増倍法を提案する。
• 参考スコア（独自算出の注目度）: 22.00687816406677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning (CL) is a form of self-supervised learning and has been widely used for various tasks. Different from widely studied instance-level contrastive learning, pixel-wise contrastive learning mainly helps with pixel-wise tasks such as medical landmark detection. The counterpart to an instance in instance-level CL is a pixel, along with its neighboring context, in pixel-wise CL. Aiming to build better feature representation, there is a vast literature about designing instance augmentation strategies for instance-level CL; but there is little similar work on pixel augmentation for pixel-wise CL with a pixel granularity. In this paper, we attempt to bridge this gap. We first classify a pixel into three categories, namely low-, medium-, and high-informative, based on the information quantity the pixel contains. Inspired by the ``InfoMin" principle, we then design separate augmentation strategies for each category in terms of augmentation intensity and sampling ratio. Extensive experiments validate that our information-guided pixel augmentation strategy succeeds in encoding more discriminative representations and surpassing other competitive approaches in unsupervised local feature matching. Furthermore, our pretrained model improves the performance of both one-shot and fully supervised models. To the best of our knowledge, we are the first to propose a pixel augmentation method with a pixel granularity for enhancing unsupervised pixel-wise contrastive learning.
• Abstract（参考訳）: コントラスト学習 (cl) は自己教師あり学習の一種であり、様々なタスクに広く使われている。 広く研究されているインスタンスレベルのコントラスト学習とは異なり、画素単位のコントラスト学習は主に医学的ランドマーク検出のようなピクセル単位のタスクに役立つ。 インスタンスレベルの CL のインスタンスに匹敵するものは、ピクセル単位の CL において、隣接するコンテキストと共にピクセルである。 より優れた特徴表現を構築するために、インスタンスレベルCLのインスタンス拡張戦略の設計には膨大な文献があるが、ピクセルワイドCLのピクセル粒度に関する同様の研究はほとんどない。 本稿では,このギャップを埋めようと試みる。 まず、画素に含まれる情報量に基づいて、画素を3つのカテゴリ、すなわち低、中、高インフォーマティブに分類する。 インフォミン」の原理に触発されて,各カテゴリーの増減強度とサンプリング比の観点で,個別の増補戦略を設計する。 広汎な実験により、我々の情報誘導画素増強戦略は、より差別的な表現を符号化し、教師なしの局所的特徴マッチングにおける他の競合的アプローチを上回ることに成功している。 さらに,事前学習モデルでは,単発モデルと全監督モデルの両方の性能が向上した。 最善の知識を得るために,我々は,教師なしの画素間コントラスト学習を強化するために,画素粒度を有する画素拡張法を最初に提案する。

関連論文リスト

• Towards Open-Vocabulary Semantic Segmentation Without Semantic Labels [53.8817160001038]
  画素レベルの理解にCLIP画像エンコーダを適用する新しい手法であるPixelCLIPを提案する。 セマンティックラベルを使わずにマスクを活用するという課題に対処するため,オンラインクラスタリングアルゴリズムを考案した。 PixelCLIPはCLIPよりも大幅にパフォーマンスが向上し、キャプション管理手法に比べて競合性が向上した。
  論文  参考訳（メタデータ） (2024-09-30T01:13:03Z)
• Exploring Multi-view Pixel Contrast for General and Robust Image Forgery Localization [4.8454936010479335]
  本稿では,画像フォージェリーローカライゼーションのための多視点Pixel-wise Contrastive Algorithm (MPC)を提案する。 具体的には、まず、教師付きコントラスト損失を伴うバックボーンネットワークを事前訓練する。 次に、クロスエントロピー損失を用いてローカライゼーションヘッドを微調整し、ピクセルローカライザを改良する。
  論文  参考訳（メタデータ） (2024-06-19T13:51:52Z)
• Superpixel Graph Contrastive Clustering with Semantic-Invariant Augmentations for Hyperspectral Images [64.72242126879503]
  ハイパースペクトル画像(HSI)クラスタリングは重要な課題だが難しい課題である。 まず3次元と2次元のハイブリッド畳み込みニューラルネットワークを用いてHSIの高次空間およびスペクトルの特徴を抽出する。 次に,超画素グラフの対比クラスタリングモデルを設計し,識別的超画素表現を学習する。
  論文  参考訳（メタデータ） (2024-03-04T07:40:55Z)
• Pixel-Superpixel Contrastive Learning and Pseudo-Label Correction for Hyperspectral Image Clustering [15.366312862496226]
  既存のピクセルレベルと超ピクセルレベルのHSIクラスタリングタスクでは,コントラスト学習手法が優れている。 超画素レベルのコントラスト学習法は,HSIの均一性を生かし,演算資源を削減する。 本稿では,画素とスーパーピクセルのクラスタリングの擬似ラベルを整列する擬似ラベル補正モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-15T09:19:00Z)
• In-N-Out Generative Learning for Dense Unsupervised Video Segmentation [89.21483504654282]
  本稿では,ラベルなしビデオから視覚的対応を学習する,教師なしビデオオブジェクト(VOS)タスクに焦点を当てる。 In-aNd-Out(INO)生成学習を純粋に生成的観点から提案する。 我々のINOは、最先端の手法をかなりのマージンで上回っている。
  論文  参考訳（メタデータ） (2022-03-29T07:56:21Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Mining Contextual Information Beyond Image for Semantic Segmentation [37.783233906684444]
  セマンティックイメージセグメンテーションにおける文脈集約問題について検討する。 個々の画像以外の文脈情報をマイニングして、ピクセル表現をさらに強化することを提案する。 提案手法は,既存のセグメンテーションフレームワークに強制的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-08-26T14:34:23Z)
• HERS Superpixels: Deep Affinity Learning for Hierarchical Entropy Rate Segmentation [0.0]
  スーパーピクセルセグメンテーションのための2段階グラフベースのフレームワークを提案する。 最初の段階では,ペアワイズ画素親和性を学習するディープ親和性学習ネットワークを導入する。 第2段階では階層エントロピーレート(HERS)と呼ばれる高効率スーパーピクセル法を提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:20:04Z)
• Exploring Cross-Image Pixel Contrast for Semantic Segmentation [130.22216825377618]
  完全教師付きセッティングにおけるセマンティックセグメンテーションのための画素単位のコントラストフレームワークを提案する。 中心となる考え方は、同じセマンティッククラスに属するピクセルの埋め込みを、異なるクラスの埋め込みよりもよく似ているように強制することである。 テスト中に余分なオーバーヘッドを伴わずに既存のセグメンテーションフレームワークに懸命に組み込むことができる。
  論文  参考訳（メタデータ） (2021-01-28T11:35:32Z)
• Propagate Yourself: Exploring Pixel-Level Consistency for Unsupervised Visual Representation Learning [60.75687261314962]
  我々は,高密度な特徴表現を学習するための画素レベルのプレテキストタスクを導入する。 ピクセル・ツー・プロパゲーション整合性タスクは、最先端のアプローチよりも優れた結果をもたらす。 結果は、ピクセルレベルでプリテキストタスクを定義する強力な可能性を示している。
  論文  参考訳（メタデータ） (2020-11-19T18:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。