Fugu-MT 論文翻訳(概要): JEDI: JEPA-to-Edge Distillation for Efficient Cropland Segmentation from Satellite Imagery

論文の概要: JEDI: JEPA-to-Edge Distillation for Efficient Cropland Segmentation from Satellite Imagery

arxiv url: http://arxiv.org/abs/2609.07915v1
Date: Mon, 07 Sep 2026 19:29:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.503841
Title: JEDI: JEPA-to-Edge Distillation for Efficient Cropland Segmentation from Satellite Imagery
Title（参考訳）: JEDI:衛星画像からの効率的な作物分割のためのJEPA-to-Edge蒸留
Abstract要約: JEDIは、大規模なI-JEPAビジョントランスフォーマー教師からコンパクトなSegFormer学生に表現を転送する2段階のフレームワークである。 CalCROP21では、JEDI-B0は平均インターセクション・オーバー・ユニオン(mIoU)を4.04Mパラメータで達成し、16.0ポイント向上した。 JEDIは3つの変種の中で、応答-、構造-、チャネル-、リレーショナル-蒸留ベースラインを一貫して上回っている。
参考スコア（独自算出の注目度）: 6.811671779150102
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large vision models provide useful representations for remote-sensing segmentation but are often too expensive for deployment at the satellite or field edge. Existing feature-level distillation methods also tend to assume similar teacher and student architectures and often stop feature alignment when task training begins. We introduce JEDI (JEPA-to-Edge Distillation), a two-stage framework that transfers representations from a large I-JEPA Vision Transformer teacher to a compact SegFormer student. First, JEDI aligns the student's terminal representation with the teacher's token space using cross-architecture projection and spatial alignment. It then jointly optimizes supervised segmentation, temperature-scaled response distillation, and persistent feature alignment throughout task adaptation. On CalCROP21, JEDI-B0 achieves 68.0 mean Intersection-over-Union (mIoU) with 4.04M parameters, improving over the standalone student by 16.0 points and coming within 2.0 points of the 70.0 mIoU achieved by the 639M-parameter teacher. We evaluate SegFormer B0, B1, and B2 students with 4.04M, 14.33M, and 28M parameters, respectively. Across all three variants, JEDI consistently outperforms response-, structure-, channel-, and relational-distillation baselines under the same teacher-student setting. These results show that persistent representation alignment is especially valuable under aggressive compression, substantially reducing model size and computation while preserving segmentation performance.
Abstract（参考訳）: 大きな視覚モデルはリモートセンシングセグメンテーションに有用な表現を提供するが、衛星やフィールドエッジに配備するには高価すぎることが多い。既存の機能レベルの蒸留法は、同様に教師や学生のアーキテクチャを仮定する傾向があり、タスクトレーニングの開始時に機能アライメントを停止する傾向にある。 JEDI(JEPA-to-Edge Distillation)は,大規模なI-JEPAビジョントランスフォーマー教師からコンパクトなSegFormer学生に表現を伝達する2段階のフレームワークである。まず、JEDIは学生の端末表現と教師のトークン空間を、クロスアーキテクチャ・プロジェクションと空間アライメントを用いて整列する。次に、教師付きセグメンテーション、温度スケールの反応蒸留、タスク適応全体を通して持続的な特徴アライメントを共同で最適化する。 CalCROP21では、JEDI-B0は68.0の平均インターセクション・オーバー・ユニオン(mIoU)を4.04Mパラメータで達成し、スタンドアローンの生徒を16.0ポイント改善し、639Mパラメーターの教師によって達成された70.0 mIoUの2.0ポイント以内に到達した。我々は,4.04M,14.33M,28Mパラメータを持つSegFormer B0,B1,B2の学生をそれぞれ評価した。 JEDIは3つの変種にまたがって、同じ教師-学生設定の下で、応答-、構造-、チャネル-、リレーショナル-蒸留ベースラインを一貫して上回る。これらの結果から, 持続的表現アライメントはアグレッシブ圧縮下では特に有用であり, セグメンテーション性能を保ちながら, モデルサイズと計算量を大幅に削減できることが示唆された。

関連論文リスト

LightAVSeg: Lightweight Audio-Visual Segmentation [67.18006751024687]
LightAVSegは、セマンティックフィルタリングと空間接地のための分離された設計に置き換わっている。実験では、軽量メソッド間で新しい最先端を実現することを実証している。 MS3ベンチマークで50.4 mIoUに達し、モバイルプロセッサでの効率的な推論を可能にする。
論文参考訳（メタデータ） (2026-05-09T08:47:54Z)
Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models [25.171094765557996]
8Bの高密度と16BのMoE教師を0.6Bの学生に蒸留すると、2つの異種パイプラインがベースラインを平均1.53ポイント上回る。 HumanEvalのスコアは、ARベースラインの32.3に比べて48.78である。
論文参考訳（メタデータ） (2026-04-29T17:59:01Z)
V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning [46.89986408533846]
V-JEPA 2.1は、画像とビデオの両方の濃密で高品質な視覚表現を学習する自己教師型モデルのファミリーである。 V-JEPA 2.1は、密集した視覚的理解と世界モデリングにおける最先端の進歩を示す。
論文参考訳（メタデータ） (2026-03-15T17:02:40Z)
Revisiting Efficient Semantic Segmentation: Learning Offsets for Better Spatial and Class Feature Alignment [67.94226713255732]
本稿では,クラス表現と空間像の特徴の両方を動的に洗練するために,特徴とクラスオフセットを学習するデュアルブランチオフセット学習パラダイムを提案する。提案手法に基づいて,効率的なセマンティックセグメンテーションネットワークOffSegを構築した。 ADE20K、Cityscapes、COCO-Stuff-164K、Pascal Contextを含む4つのデータセットの実験は、無視可能なパラメータによる一貫した改善を示している。
論文参考訳（メタデータ） (2025-08-12T10:10:10Z)
MASS: MoErging through Adaptive Subspace Selection [55.03293736484465]
モデルマージの新しいアプローチであるMASS(MoErging through Adaptive Subspace Selection)を提案する。 MASSはタスクごとに最も健全な特異なコンポーネントのみを格納し、それらを共有モデルにマージする。我々は,8,14,20タスクのベンチマークに対して,ViT-B-16,ViT-B-32,ViT-L-14を用いて,CLIPに基づく画像分類のMASSを評価する。
論文参考訳（メタデータ） (2025-04-06T08:49:52Z)
TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation [19.938309176933902]
本稿では, モデル圧縮を2相で促進するブランチ・マージ蒸留法を提案する。我々は,DeepSeek-R1を教師とし,DeepSeek-R1-Distill-Qwen-32Bを学生として蒸留アプローチを検証する。合併したTinyR1-32B-Previewは、複数のベンチマークでDeepSeek-R1-Distill-Qwen-32Bを上回った。
論文参考訳（メタデータ） (2025-03-06T16:25:53Z)
A Simple and Generic Framework for Feature Distillation via Channel-wise Transformation [35.233203757760066]
学習可能な非線形チャネルワイズ変換を提案し,教師モデルと生徒の特徴を一致させる。本手法は,様々なコンピュータビジョンタスクにおいて,大幅な性能向上を実現する。
論文参考訳（メタデータ） (2023-03-23T12:13:29Z)
Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文参考訳（メタデータ） (2022-11-16T21:55:05Z)
Global Context Vision Transformers [78.5346173956383]
我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
論文参考訳（メタデータ） (2022-06-20T18:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。