論文の概要: A Contrastive Learning Foundation Model Based on Perfectly Aligned Sample Pairs for Remote Sensing Images

• arxiv url: http://arxiv.org/abs/2505.19447v2
• Date: Tue, 24 Jun 2025 02:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.271328
• Title: A Contrastive Learning Foundation Model Based on Perfectly Aligned Sample Pairs for Remote Sensing Images
• Title（参考訳）: リモートセンシング画像のための完全適応型サンプルペアに基づくコントラスト学習基礎モデル
• Authors: Hengtong Shen, Haiyan Gu, Haitao Li, Yi Yang, Agen Qiu,
• Abstract要約: セマンティック・パーフェクト・アライメント・サンプル・ペアによる全目的リモートセンシング機能を実現するPerAと呼ばれる新しい自己教師型手法を提案する。 私たちのフレームワークは,教師と生徒の一貫性を確保することによって,高品質な機能を提供します。 約500万のRS画像を含むラベル付き事前学習データセットを収集する。
• 参考スコア（独自算出の注目度）: 18.191222010916405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-Supervised Learning (SSL) enables us to pre-train foundation models without costly labeled data. Among SSL methods, Contrastive Learning (CL) methods are better at obtaining accurate semantic representations in noise interference. However, due to the significant domain gap, while CL methods have achieved great success in many computer vision tasks, they still require specific adaptation for Remote Sensing (RS) images. To this end, we present a novel self-supervised method called PerA, which produces all-purpose RS features through semantically Perfectly Aligned sample pairs. Specifically, PerA obtains features from sampled views by applying spatially disjoint masks to augmented images rather than random cropping. Our framework provides high-quality features by ensuring consistency between teacher and student and predicting learnable mask tokens. Compared to previous contrastive methods, our method demonstrates higher memory efficiency and can be trained with larger batches due to its sparse inputs. Additionally, the proposed method demonstrates remarkable adaptability to uncurated RS data and reduce the impact of the potential semantic inconsistency. We also collect an unlabeled pre-training dataset, which contains about 5 million RS images. We conducted experiments on multiple downstream task datasets and achieved performance comparable to previous state-of-the-art methods with a limited model scale, demonstrating the effectiveness of our approach. We hope this work will contribute to practical remote sensing interpretation works.
• Abstract（参考訳）: SSL(Self-Supervised Learning)により、コストのかかるラベル付きデータなしで基礎モデルの事前トレーニングが可能になります。 SSL法のうち、コントラシブラーニング(CL)法はノイズ干渉の正確な意味表現を得るのに優れている。 しかし、多くのコンピュータビジョンタスクにおいてCL手法は大きな成功をおさめているが、リモートセンシング(RS)画像への適応は依然として必要である。 そこで本研究では,パーフェクト・アライメント(perfectly Aligned)のサンプル・ペアを用いて,全目的RS特徴を自動生成するPerAという手法を提案する。 特に、PerAは、ランダムなトリミングではなく、拡張画像に空間的不整合マスクを適用することで、サンプルビューから特徴を得る。 本フレームワークは,教師と生徒の一貫性を確保し,学習可能なマスクトークンを予測することによって,高品質な機能を提供する。 従来のコントラスト法と比較して,本手法は高いメモリ効率を示し,スパース入力によりより大きなバッチで訓練することができる。 さらに,提案手法は未処理RSデータへの顕著な適応性を示し,潜在的な意味的不整合の影響を低減する。 また、約500万のRS画像を含むラベル付き事前学習データセットも収集する。 我々は、複数のダウンストリームタスクデータセットの実験を行い、従来の最先端手法に匹敵する性能とモデルスケールを限定し、我々のアプローチの有効性を実証した。 この研究がリモートセンシングの実用的な解釈に貢献することを願っている。

関連論文リスト

• WSS-CL: Weight Saliency Soft-Guided Contrastive Learning for Efficient Machine Unlearning Image Classification [0.0]
  本稿では,画像分類のための2相効率的な機械学習手法を提案する。 我々の手法は、効率的な機械学習画像分類(WSS-CL)のためのウェイトサリエンシソフトガイド型コントラスト学習と呼ばれる。 提案手法は, 最先端手法と比較して, 性能損失を無視できるほど改善されていない未学習の有効性を示す。
  論文  参考訳（メタデータ） (2025-08-06T10:47:36Z)
• Underlying Semantic Diffusion for Effective and Efficient In-Context Learning [113.4003355229632]
  Underlying Semantic Diffusion (US-Diffusion)は、セマンティック学習、計算効率、文脈内学習能力を高める拡張拡散モデルである。 本稿では,フィードバック信号を利用したフィードバック支援学習(FAL)フレームワークを提案する。 また,高雑音レベルの時間ステップで高密度サンプリングを行うためのプラグイン・アンド・プレイの効率的なサンプリング戦略(ESS)を提案する。
  論文  参考訳（メタデータ） (2025-03-06T03:06:22Z)
• Semi-supervised Semantic Segmentation for Remote Sensing Images via Multi-scale Uncertainty Consistency and Cross-Teacher-Student Attention [59.19580789952102]
  本稿では,RS画像セマンティックセグメンテーションタスクのための,新しい半教師付きマルチスケール不確かさとクロスTeacher-Student Attention(MUCA)モデルを提案する。 MUCAは、マルチスケールの不確実性整合正則化を導入することにより、ネットワークの異なる層における特徴写像間の整合性を制限する。 MUCAは学生ネットワークの誘導にクロス教師・学生の注意機構を使用し、学生ネットワークにより差別的な特徴表現を構築するよう誘導する。
  論文  参考訳（メタデータ） (2025-01-18T11:57:20Z)
• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• Enhancing Vision-Language Few-Shot Adaptation with Negative Learning [11.545127156146368]
  我々は,タスク固有の知識をより効率的に活用するための,シンプルで効果的な否定的学習手法SimNLを提案する。 そこで本研究では,雑音を緩和するために,プラグアンドプレイによる数発のインスタンス再重み付け手法を提案する。 提案したSimNLは,少数ショット学習とドメイン一般化の両タスクにおいて,既存の最先端手法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:39Z)
• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Semantic-aware Dense Representation Learning for Remote Sensing Image Change Detection [20.761672725633936]
  ディープラーニングに基づく変化検出モデルのトレーニングはラベル付きデータに大きく依存する。 最近のトレンドは、リモートセンシング(RS)データを使用して、教師付きまたは自己教師型学習(SSL)を通じてドメイン内表現を取得することである。 複数のクラスバランス点をサンプリングし,RS画像CDに対する意味認識事前学習を提案する。
  論文  参考訳（メタデータ） (2022-05-27T06:08:33Z)
• Robust Cross-Modal Representation Learning with Progressive Self-Distillation [7.676408770854477]
  CLIPの視覚言語アプローチの学習目的は、Webハーベスト画像キャプションデータセットに見られるノイズの多い多対多対応を効果的に考慮していない。 本研究では、進行的な自己蒸留とソフトな画像テキストアライメントを用いて、雑音の多いデータから頑健な表現をより効率的に学習するクロスモーダルコントラスト学習に基づく新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-10T03:28:18Z)
• A Practical Contrastive Learning Framework for Single-Image Super-Resolution [51.422185656787285]
  コントラスト学習に基づく単一画像の超解像を2つの視点から検討する。 SISR のための実践的コントラスト学習フレームワーク PCL-SR を提案する。 既存のベンチマーク手法と比較して,提案手法をPCL-SRフレームワークで再学習し,優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-11-27T15:42:12Z)
• HoughCL: Finding Better Positive Pairs in Dense Self-supervised Learning [30.442474932594386]
  Hough Contrastive Learning (HoughCL) は、Hough空間に基づく2つの高密度特徴間の幾何的整合性を実現する手法である。 従来の研究と比較して,本手法は高密度な予測微調整タスクにおいて,より優れた,あるいは同等の性能を示す。
  論文  参考訳（メタデータ） (2021-11-21T11:23:12Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。