論文の概要: Cross-Architecture Foundation-Model Distillation for Edge Flood Segmentation
- arxiv url: http://arxiv.org/abs/2609.20441v1
- Date: Thu, 17 Sep 2026 14:15:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.315627
- Title: Cross-Architecture Foundation-Model Distillation for Edge Flood Segmentation
- Title（参考訳）: エッジフラッドセグメンテーションのためのクロス構造ファンデーション-モデル蒸留
- Abstract要約: 教師が指導する訓練は直接訓練と競合する。
教師が指導するプールを2500シーンに拡大すると、残りの生徒のギャップが狭まる。
固定修正正規化差分水指数(MNDWI)閾値は両モデルとも競合する。
- 参考スコア（独自算出の注目度）: 15.707382156342547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Geospatial foundation models can provide strong flood-segmentation performance, but their size limits deployment on memory-constrained edge hardware. We distill a 300-million-parameter Prithvi-EO-2.0 teacher, fine-tuned on the 252 manually labeled Sen1Floods11 training scenes, into a 0.7-million-parameter EfficientViT-B0 student. The teacher supervises additional unlabeled Sentinel-2 imagery, allowing the student training set to grow without new manual annotations. At the matched budget of 252 scenes, teacher-supervised training is competitive with direct training and improves STURM-Flood performance across tested configurations; a geometry-matched control shows that label source alone does not explain the difference. Scaling the teacher-supervised pool to 2,500 scenes narrows the remaining student--teacher gap: the float student reaches 0.787 water intersection over union on the Sen1Floods11 test split against 0.822 for the teacher, matches the teacher on STURM-Flood under our evaluation protocol, and remains below it on WorldFloods-v2. After activation replacement and quantization-aware training, the student runs as a 1.5-megabyte 8-bit integer (INT8) TensorRT engine on a Jetson Xavier NX at 5.57 milliseconds of graphics processing unit (GPU) compute per 512-by-512 image, with approximately 14 megabytes of runtime device memory. A fixed modified normalized difference water index (MNDWI) threshold is competitive with both models on the two clean external benchmarks, so we interpret those benchmarks as generalization tests rather than as evidence of learned-model superiority over a spectral rule. The results support the conclusion: foundation-model supervision can amplify a fixed manual annotation budget into a substantially larger training set and yield a compact, deployable edge model.
- Abstract（参考訳）: ジオ空間基盤モデルは、強力なフラッドセグメンテーション性能を提供するが、そのサイズはメモリ制限されたエッジハードウェアへのデプロイメントを制限する。
筆者らは,手動で「Sen1Floods11」とラベル付けされた252台のPrithvi-EO-2.0の教師を,0.7MのPrithvi-EO-2.0の学生に蒸留した。
教師は、未ラベルのSentinel-2イメージを監督し、新しい手動アノテーションなしで生徒のトレーニングセットを成長させることができる。
252シーンの一致した予算では、教師が指導する訓練は直接訓練と競合し、テストされた構成間でSTURM-Floodの性能を改善する。
Sen1Floods11 テストでは 0.822 対 0.822 で分離し,STURM-Flood の教師と評価プロトコルで一致し,WorldFloods-v2 ではその下にある。
アクティベーション交換と量子化学習の後、学生は1.5メガバイトの8ビット整数(INT8)TensorRTエンジンとしてJetson Xavier NX上で512-by-512イメージあたり5.57ミリ秒のグラフィックス処理ユニット(GPU)で動作し、約14メガバイトのランタイムデバイスメモリを持つ。
固定修正正規化差分水指数(MNDWI)閾値は、2つのクリーンな外部ベンチマークの両モデルと競合するので、これらのベンチマークはスペクトル規則よりも学習モデル優位性の証拠としてではなく、一般化テストとして解釈する。
基礎モデル監督は、固定された手動のアノテーション予算をかなり大きなトレーニングセットに増幅し、コンパクトでデプロイ可能なエッジモデルを生成する。
関連論文リスト
- BRIDGE-EEG: Bridging Self-Supervised Pretraining and Efficient Deployment for Cross-Dataset EEG Classification [10.168267743881337]
本稿では,効率的なマルチタスクEEG分類パイプラインBRIDGE-EEGを紹介する。
統一された前処理方式は、異なるチャンネル数、モンタージュ、サンプリング率の異種記録をデバイスに依存しない62チャンネル時間周波数表現にマッピングする。
異常検出,運動画像,感情認識を対象とする6つのベンチマークを評価した。
論文 参考訳（メタデータ） (2026-09-10T21:27:10Z) - Pretraining and Distillation Matter More Than Architecture Family for Label-Free Single-Cell Classification [0.0]
我々は,LIVECell位相コントラスト顕微鏡データに対して,ソース・イメージ・ディスジョイント・トレイン/バリデーション/テストプロトコルを用いてベンチマークを行った。
これにより、建築、事前訓練、微調整、蒸留の影響を解消することができる。
論文 参考訳（メタデータ） (2026-09-09T08:16:10Z) - Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification [10.122947222129108]
DINOv2のような自己監督型ビジョンファウンデーションモデルは強力な機能を提供するが、フィールド展開には大きすぎる。
微調整DINOv2教師からコンパクトな双方向視覚空間モデルへのクロスアーキテクチャ知識の蒸留について検討した。
我々は,SSM学生が限られたデータで学習することを防ぐ2つのトレーニング安定問題を同定し,修正する。
論文 参考訳（メタデータ） (2026-08-27T08:02:05Z) - Towards Compact Unified Multimodal Tracking: Synergizing Knowledge Distillation with Structural Pruning [80.73561460934809]
多モード物体追跡は 相補的なセンサーデータを活用することで 目覚ましい堅牢性を達成した
我々は予測ヘッドを重要ではあるが、しばしば見過ごされる効率ボトルネックとみなしている。
デコーダアーキテクチャを戦略的に合理化することで、リアルタイム推論の可能性を解き放ちます。
論文 参考訳（メタデータ） (2026-08-02T20:41:33Z) - OPOD: On-Policy Omni Distillation [55.440058537827134]
プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。
本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。
OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
論文 参考訳（メタデータ） (2026-07-23T04:55:04Z) - TESSERA v2: Scaling Pixel-wise Earth Foundation Models [0.0]
本稿では,地球観測画素単位の基礎モデルについて,これまでで最大規模で評価したスケーリングモデルについて述べる。
395のトレーニングは1024GH200スーパーチップ上で、固定画素ワイドのバーロウツインズファミリー内で実行される。
埋め込み・データ配置のためのコンパクトな学生に画素単位のモデルを蒸留する。
論文 参考訳（メタデータ） (2026-07-04T16:52:34Z) - Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。
さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
論文 参考訳（メタデータ） (2026-07-02T08:06:57Z) - Density Field State Space Models: 1-Bit Distillation, Efficient Inference, and Knowledge Organization in Mamba-2 [0.0]
Int8の低ランク補正を施した1ビット足場にSSMを圧縮するフレームワークである密度場状態空間モデル(DF-SSM)を提案する。
278MBモデル(FP16教師の2.7GBより9.7倍小さい)をGPU上で21.4倍高速に動作させる。
論文 参考訳（メタデータ） (2026-04-28T14:25:10Z) - LGD: Label-guided Self-distillation for Object Detection [59.9972914042281]
我々はLGD(Label-Guided Self-Distillation)と呼ばれる汎用物体検出のための最初の自己蒸留フレームワークを提案する。
本フレームワークは, 学習知識を得るために, スパースラベル-外観符号化, オブジェクト間関係適応, オブジェクト内知識マッピングを含む。
従来の教師ベースのFGFIと比較すると、LGDは予習された教師を必要とせず、本質的な学生学習よりも51%低い訓練コストで性能が向上する。
論文 参考訳（メタデータ） (2021-09-23T16:55:01Z) - Bag of Instances Aggregation Boosts Self-supervised Learning [122.61914701794296]
教師なし学習のための簡易かつ効果的な蒸留戦略を提案する。
BINGOと呼ばれる本手法は,教師が学習した関係を学生に伝達することを目的としている。
BINGOは、小規模モデルにおける最先端の新たなパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-07-04T17:33:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。