論文の概要: Far from the Crowd: Scalable Self-Supervised Learning via Geographic Isolation
- arxiv url: http://arxiv.org/abs/2608.19766v1
- Date: Thu, 20 Aug 2026 08:09:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.49174
- Title: Far from the Crowd: Scalable Self-Supervised Learning via Geographic Isolation
- Title(参考訳): 群衆から遠ざかる - 地理的隔離によるスケーラブルな自己監督型学習
- Abstract要約: リモートセンシング画像による自己教師付き事前訓練は、全てのサンプルを同様に情報的扱いをする。
地理的孤立度でサンプルをランク付けする自己監督型地球観測のためのカリキュラム学習戦略を提案する。
視覚複雑性プロキシとは異なり、データセットサイズDのO(D log D)としてスケールし、コントラストと再構成の両方の目的に対して十分に定義されている。
- 参考スコア(独自算出の注目度): 4.537050278022913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised pretraining on remote sensing imagery typically treats all samples as equally informative, despite large variability in geographic and visual structure. We propose a curriculum learning strategy for self-supervised Earth observation that ranks samples by geographic isolation, a label-free proxy derived entirely from geolocation metadata already present in geospatial datasets, requiring no image decoding, no model feedback, and no manual annotation. Unlike visual complexity proxies, it scales as O(D log D) with dataset size D and is well-defined for both contrastive and reconstructive objectives. We integrate the proposed measure into MoCoV2 and MAE pretraining and evaluate across three downstream tasks from CopernicusBench (BigEarthNet, DFC-2020, LCZ). Our curriculum reaches baseline final-epoch performance using as few as 20% of the training budget (MAE) and at most 40% (MoCo) of the training budget, and improves final downstream performance by up to +5 mAP on BigEarthNet, with gains of 1-5 points across benchmarks, matching visual-complexity curricula while reducing pre-computation cost by more than 140x (4 s vs. 568 s on SSL4EO). A CKA and effective-rank analysis further reveals that curriculum-trained encoders develop higher-dimensional, more uniformly utilized embedding spaces throughout training.
- Abstract(参考訳): リモートセンシング画像の自己教師付き事前訓練は、地理的・視覚的構造に大きなバリエーションがあるにもかかわらず、すべてのサンプルを同様に情報的扱いをする。
地理的孤立度でサンプルをランク付けする自己教師型地球観測のためのカリキュラム学習戦略を提案する。これは地理空間データセットにすでに存在する位置情報メタデータから派生したラベルなしプロキシであり、画像復号化やモデルフィードバックの不要、手動アノテーションは不要である。
視覚複雑性プロキシとは異なり、データセットサイズDのO(D log D)としてスケールし、コントラストと再構成の両方の目的に対して十分に定義されている。
提案手法をMoCoV2とMAEプレトレーニングに統合し,CopernicusBench (BigEarthNet, DFC-2020, LCZ) の下流3つのタスクに対して評価を行った。
本カリキュラムは,トレーニング予算(MAE)の20%とトレーニング予算の40%(MoCo)を基準として,ベンチマーク毎に1~5ポイントのアップを達成し,事前計算コストを140倍(SSL4EOでは4秒対568秒)以上削減した。
CKAと有効ランク解析により、カリキュラムで訓練されたエンコーダは、訓練を通してより高次元で一様に利用される埋め込み空間を発達させることが明らかになった。
関連論文リスト
- Selectivity Drives Efficiency: Dataset Pruning for Visual Place Recognition [52.52131290631774]
視覚的位置認識(VPR)に適したプレースワイズ・データセット・プルーニング・フレームワークを提案する。
本手法は,各場所を基本刈取単位として扱い,IPD(Intra-place diversity)とIPS(Inter-place similarity)の2つの新しい指標を導入する。
実験により, 提案手法は, 最先端のDPベースラインを異なるプルーニング比で連続的に上回ることを示した。
論文 参考訳(メタデータ) (2026-07-16T12:16:00Z) - FoundationGeo: Learning Spatial Pixel-Wise Fields for Monocular Metric Geometry [52.232826445242644]
FoundationGeoは空間キャリブレーションと原則データ設計による相対的および計量的予測を橋渡しする。
ステージ1は DINOv3 で初期化することで高忠実なアフィン不変幾何モデルを学ぶ。
ステージ2は、メートル法推定のためのピクセルワイドキャリブレーションフィールドを導入することで、グローバルなスケーリングを越えている。
論文 参考訳(メタデータ) (2026-07-13T14:10:01Z) - Selecting Samples on Graphs: A Unified Dataset Pruning Framework for Lossless Training Acceleration [71.77541419885925]
グラフベースの統合DPフレームワークを提案する。
データセットを重み付きグラフとしてモデル化することにより、DPは最大重み付き傾き問題(MWCP)としてキャストできる。
ResNet-50でImageNet-1kの精度を犠牲にすることなく、トレーニング時間を40%以上短縮する。
論文 参考訳(メタデータ) (2026-06-11T05:13:32Z) - Beyond Backscatter: InSAR coherence from detected SAR images [3.5282605743520215]
残留U-Netは、正確にコアギスターされたSentinel-1 SLCデータから得られたコヒーレンスマップを用いて訓練される。
このネットワークは、様々な地理的な場所をまたいで、訓練時に見たことのない異なる時間的ベースラインをまたいでも、うまく一般化している。
論文 参考訳(メタデータ) (2026-06-05T15:18:28Z) - Segmentation of arbitrary features in very high resolution remote sensing imagery [0.0]
我々は、VHR RS画像に任意の機能を分割するスケーラブルなソリューションであるEcoMapperを紹介した。
EcoMapperでトレーニングされたモデルは、現実のUAVデータセットで2つの異なる特徴をセグメント化することに成功している。
収集データにDL手法を効果的に適用するための総合的なフィールドサーベイ手法を開発した。
論文 参考訳(メタデータ) (2024-12-20T16:48:52Z) - Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。
本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。
提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
論文 参考訳(メタデータ) (2023-04-04T17:59:04Z) - Where Should I Spend My FLOPS? Efficiency Evaluations of Visual
Pre-training Methods [29.141145775835106]
固定されたFLOP予算が与えられた場合、代表的な視覚的タスクに対して高い正確性を得るために最適なデータセット、モデル、そして(自己監督的な)トレーニング方法は何ですか?
5つの大規模データセット(JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, COCO)と6つの事前学習方法(CLIP, DINO, SimCLR, BYOL, Masked Autoencoding, and supervised)を検討した。
本稿の結果は,自己管理手法が本質的に大規模で未処理なデータにスケールする,という一般的な仮定に疑問を投げかけるものである。
論文 参考訳(メタデータ) (2022-09-30T17:04:55Z) - PreTraM: Self-Supervised Pre-training via Connecting Trajectory and Map [58.53373202647576]
軌道予測のための自己教師付き事前学習方式であるPreTraMを提案する。
1) トラジェクティブ・マップ・コントラクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)の2つのパートから構成される。
AgentFormerやTrajectron++といった一般的なベースラインに加えて、PreTraMは、挑戦的なnuScenesデータセット上で、FDE-10でパフォーマンスを5.5%と6.9%向上させる。
論文 参考訳(メタデータ) (2022-04-21T23:01:21Z) - Efficient deep learning models for land cover image classification [0.29748898344267777]
土地利用土地被覆(LULC)画像分類のためのBigEarthNetデータセットを用いて実験を行った。
コンボリューションニューラルネットワーク、マルチ層パーセプトロン、ビジュアルトランスフォーマー、効率的なネットワーク、ワイド残留ネットワーク(WRN)など、さまざまな最先端モデルをベンチマークする。
提案する軽量モデルは、訓練可能なパラメータが桁違いに小さく、平均的なFスコア分類精度が19のLULCクラスすべてに対して4.5%向上し、ベースラインとして使用するResNet50の2倍高速に訓練される。
論文 参考訳(メタデータ) (2021-11-18T00:03:14Z) - PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image
Segmentation [87.50205728818601]
本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。
我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
論文 参考訳(メタデータ) (2020-11-25T11:03:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。