論文の概要: Data-Efficient ConvNeXt Pretraining for High-Resolution Sentinel-1 GRD SAR Representation Learning

• arxiv url: http://arxiv.org/abs/2610.21993v1
• Date: Thu, 15 Oct 2026 14:40:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.132812
• Title: Data-Efficient ConvNeXt Pretraining for High-Resolution Sentinel-1 GRD SAR Representation Learning
• Title（参考訳）: 高分解能Sentinel-1 GRD SAR表現学習のためのデータ効率の良いConvNeXt事前学習
• Abstract要約: SparK-SARは、SparKとConvNeXt上に構築されたスパース畳み込みマスク付き事前トレーニングフレームワークである。 4つのCopernicus-Bench S1GRDタスクにおいて、調整済みのConvNeXt-RSエンコーダは、+4.7, +5.0, +5.8, +1.4 ppの非事前ベースラインで改善する。 分類はSSL4EO-S12 v1.1コーパスの10-25%まで飽和し、密度予測は25-50%まで大幅に改善されている。
• 参考スコア（独自算出の注目度）: 2.5136448029083875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Labeled Sentinel-1 Ground Range Detected (S1GRD) datasets remain scarce, limiting supervised deep learning for land-surface remote sensing, while self-supervised pretraining for this domain has been dominated by Vision Transformer (ViT)-based masked image modeling requiring substantial data and compute. We propose SparK-SAR, a sparse convolutional masked pretraining framework built on SparK and ConvNeXt, designed to exploit convolutional inductive biases for S1GRD imagery under constrained compute. SparK-SAR makes three core technical contributions: (i) ConvNeXt-RS, a domain-adapted encoder that halves the stem stride (4x to 2x) to produce 14x14 feature maps at stride 16x, providing 4x more spatial tokens at identical parameter count; (ii) a lightweight ConvNeXt-512 reconstruction decoder with PixelShuffle upsampling that reduces pretraining VRAM by 7.5-8.5% per GPU relative to a UNet-128 baseline while matching its accuracy; and (iii) an empirical characterization of FP16 mixed-precision pretraining instability in the standard SparK UNet-768 decoder on S1GRD data, complemented by a finding that finetuning with layer-wise learning rate decay (LLRD) improves downstream performance of pretrained encoders. On four Copernicus-Bench S1GRD tasks, our finetuned 27.8M-parameter ConvNeXt-RS encoder improves over a non-pretrained baseline by +4.7, +5.0, +5.8, and +1.4 pp on EuroSAT-S1, BigEarthNet-S1, DFC2020-S1, and Flood-S1 respectively, and outperforms the Copernicus-FM ViT (139M parameters, frozen) on three of four tasks at roughly 5x fewer parameters. A pretraining data-scaling study reveals task-dependent data efficiency: classification saturates with as little as 10-25% of the SSL4EO-S12 v1.1 corpus, while dense prediction continues to improve significantly up to 25-50%. The study also includes a CKA representation analysis and a geographic de-collision experiment.
• Abstract（参考訳）: ラベル付きSentinel-1 Ground Range Detected (S1GRD)データセットは少ないままであり、地上リモートセンシングのための教師付き深層学習を制限している。 本研究では,SparKとConvNeXt上に構築されたスパース畳み込みマスク付き事前学習フレームワークであるSparK-SARを提案する。 SparK-SARは3つの主要な技術貢献をしている。 (i)ConvNeXt-RSは、ストライド16xで14x14特徴写像を生成するためにストライド(4xから2x)をハーフするドメイン適応エンコーダで、同じパラメータ数で4倍の空間トークンを提供する。 (ii)PixelShuffleアップサンプリングを備えた軽量のConvNeXt-512再構成デコーダで、UNet-128ベースラインに対してGPU毎の事前トレーニングVRAMを7.5～8.5%削減する。 3)S1GRDデータ上での標準SparK UNet-768デコーダのFP16混合精度事前学習不安定性の実証的特徴は,LLRDによる微調整が事前学習エンコーダの下流性能を向上させることを示唆している。 4つのCopernicus-Bench S1GRDタスクにおいて、調整済みの27.8MパラメータのConvNeXt-RSエンコーダは、EuroSAT-S1、BigEarthNet-S1、DFC2020-S1、Flood-S1で+4.7、+5.0、+5.8、+1.4ppの非事前ベースラインで改善され、約5倍のパラメータでCopernicus-FM ViT(139Mパラメータ、凍結)を出力する。 分類はSSL4EO-S12 v1.1コーパスの10-25%まで飽和し、密度予測は25-50%まで大幅に改善されている。 この研究には、CKA表現分析と地理的非衝突実験も含まれる。

関連論文リスト

• Fixed-Budget Gaussian Volume Encoding with Structure-Aware Allocation [15.691275130802815]
  この研究はスカラー場を固定予算の下で異方性ガウス原始体として符号化する。 制御されたベンチマークでは、トランケーション対応フィールド評価により符号化時間を最大51倍に短縮する。 210万から110億という評価されたボクセルにまたがる5つのデータセットで、圧縮に有用な構成は、圧縮比が2.2倍から4万倍に達する15.0-38.7 dBのPSNRを達成した。
  論文  参考訳（メタデータ） (2026-08-14T09:15:35Z)
• ATSplat: Compact Feed-forward 3D Gaussian Splatting with Adaptive Token Expansion [60.00320387969695]
  ATSplatはフィードフォワード3DGSフレームワークで、3DGS最適化のアダプティブアロケーション機能を復元する。 12の入力画像の解像度が512倍の960ドルから、ATSplatは1つの商用GPUを使用して1秒未満で再構築を完了した。
  論文  参考訳（メタデータ） (2026-07-22T17:54:44Z)
• TurboGS: Accelerating 3D Gaussian Splatting via Error-Guided Sparse Pixel Sampling and Optimization [54.179316928687435]
  TurboGSは3DGSを高速化するエラー誘導トレーニングフレームワークであり、知覚的に情報のあるピクセルに最適化を集中させることで実現している。 標準ベンチマークの実験では、5090GPUカード1枚で100秒以内にTurboGSが同等または優れたレンダリング品質を提供できることが示されている。
  論文  参考訳（メタデータ） (2026-06-14T16:59:48Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• XR-NPE: High-Throughput Mixed-precision SIMD Neural Processing Engine for Extended Reality Perception Workloads [0.0]
  XR-NPEは、視覚慣性オドメトリー(VIO)、物体分類、視線抽出のような拡張現実(XR)知覚のために設計されている。 結果が公開され、デザイナと研究者が簡単にそれらを採用して構築できるようになる。
  論文  参考訳（メタデータ） (2025-08-18T16:13:00Z)
• Optimality and Adaptivity of Deep Neural Features for Instrumental Variable Regression [57.40108516085593]
  ディープ・フィーチャー・インスツルメンタル・変数(DFIV)回帰(Deep Feature instrumental variable)は、ディープ・ニューラルネットワークによって学習されたデータ適応的特徴を用いたIV回帰に対する非パラメトリックなアプローチである。 DFIVアルゴリズムは,目的構造関数がベソフ空間にある場合,最小最適学習率を実現する。
  論文  参考訳（メタデータ） (2025-01-09T01:22:22Z)
• ParFormer: A Vision Transformer with Parallel Mixer and Sparse Channel Attention Patch Embedding [9.144813021145039]
  本稿では、並列ミキサーとスパースチャネル注意パッチ埋め込み(SCAPE)を組み込んだ視覚変換器であるParFormerを紹介する。 ParFormerは、畳み込み機構とアテンション機構を組み合わせることで、特徴抽出を改善する。 エッジデバイスのデプロイメントでは、ParFormer-Tのスループットは278.1イメージ/秒で、EdgeNeXt-Sよりも1.38ドル高い。 より大型のParFormer-Lは83.5%のTop-1精度に達し、精度と効率のバランスの取れたトレードオフを提供する。
  論文  参考訳（メタデータ） (2024-03-22T07:32:21Z)
• Efficient Decoder-free Object Detection with Transformers [75.00499377197475]
  視覚変換器(ViT)は、物体検出アプローチのランドスケープを変化させている。 本稿では,デコーダフリー完全トランス(DFFT)オブジェクト検出器を提案する。 DFFT_SMALLは、トレーニングおよび推論段階で高い効率を達成する。
  論文  参考訳（メタデータ） (2022-06-14T13:22:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。