論文の概要: Compression of Vision Foundation Models for Retinal OCT via Growing-Neural-Gas Codebooks and Graph-Guided Masked Image Modeling

• arxiv url: http://arxiv.org/abs/2610.33340v1
• Date: Fri, 23 Oct 2026 22:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.304691
• Title: Compression of Vision Foundation Models for Retinal OCT via Growing-Neural-Gas Codebooks and Graph-Guided Masked Image Modeling
• Title（参考訳）: 成長ニューラルガスコードブックとグラフ誘導マスク画像モデリングによる網膜OCTの視覚基礎モデルの圧縮
• Abstract要約: 本稿では,連続基盤モデルを個別のコードブックに蒸留するトポロジ対応の離散化フレームワークを提案する。 これはGrowing Neural Gasによる勾配なしのコードブック学習を組み合わせることで、コードに隣接したグラフを生成する。 Vision Transformer(ViT-Base)と網膜(MIRAGE)と自然像(DINOv3)の2つの教師と連携する。 これらの結果は、OCTデータセット、デバイス、臨床タスク間での移動、配置に適したコンパクト網膜モデルをもたらす。
• 参考スコア（独自算出の注目度）: 1.4954477154912078
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision foundation models for retinal imaging are large and computationally demanding, limiting point-of-care deployment. We ask how much of such a model's downstream utility survives compression into a smaller network. We propose a topology-aware discretization framework that distills a continuous foundation model into a discrete codebook, then uses it as the reconstruction target for masked image modeling (MIM). It combines gradient-free codebook learning via Growing Neural Gas, which yields an adjacency graph over the codes, with a graph-distance soft cross-entropy loss that replaces one-hot MIM targets with topologically graded supervision. With student pretraining on 383 public Duke iAMD optical coherence tomography (OCT) volumes, the pipeline distills an 86M-parameter teacher into a 22M-parameter student with at least 3.6x fewer FLOPs. The student performs close to, and in some settings above, its teacher across three classification and two segmentation benchmarks, with the magnitude and direction of the difference depending on the teacher, task, metric, and student capacity. On the external OLIVES benchmark, it surpasses its MIRAGE teacher on every metric (98.06% vs. 95.22% balanced accuracy). It works with two Vision Transformer (ViT-Base) teachers, retinal (MIRAGE) and natural-image (DINOv3); with the out-of-domain teacher, the student outperforms it on retinal-layer segmentation, indicating that the added value of retina-specific pretraining is task-dependent: largest for segmentation, while a general-domain teacher is competitive for classification. These results yield compact retinal models potentially suitable for deployment, transferring across OCT datasets, devices, and clinical tasks, including three datasets not used in the student's pretraining.
• Abstract（参考訳）: 網膜イメージングのビジョン基盤モデルは、大きく、計算的に要求され、ケアのポイント・オブ・ケアの展開を制限する。 このようなモデルの下流ユーティリティのどれ程が、より小さなネットワークへの圧縮を生き残るのかを問う。 本稿では,連続基盤モデルを個別のコードブックに蒸留し,マスク画像モデリング(MIM)の再構成ターゲットとして利用するトポロジ対応の離散化フレームワークを提案する。 これは、Growing Neural Gasによる勾配なしのコードブック学習(Growing Neural Gas)と、グラフ依存のソフトなクロスエントロピー損失(英語版)を組み合わせ、トポロジ的に格付けされた監視に置き換える。 383人の公立デュークiAMD光コヒーレンス・トモグラフィー(OCT)を予習し、86Mパラメーターの教師を22Mパラメーターの学生に蒸留し、少なくとも3.6倍のFLOPを減らした。 生徒は3つの分類と2つのセグメンテーションのベンチマークで、その差の大きさと方向は教師、タスク、メートル法、学生の能力によって異なる。 外部のOLIVESベンチマークでは、すべてのメートル法でMIRAGEの教師を上回っている(98.06%対95.22%のバランスの取れた精度)。 ビジョントランスフォーマー(ViT-Base)の2人の教師、網膜(MIRAGE)と自然像(DINOv3)と連携し、ドメイン外教師は網膜層セグメンテーション(Retinal-layer segmentation)を上回り、網膜固有の事前訓練の付加価値がタスク依存であることを示す。 これらの結果は、学生の事前トレーニングに使用されていない3つのデータセットを含む、OCTデータセット、デバイス、臨床タスク間での移動、配置に適する可能性のあるコンパクト網膜モデルをもたらす。

関連論文リスト

• LiteNeXt: A Novel Lightweight ConvMixer-based Model with Self-embedding Representation Parallel for Medical Image Segmentation [2.0901574458380403]
  医用画像分割のための軽量だが効率的な新しいモデル LiteNeXt を提案する。 このモデルは、少量のパラメータ (0.71M) とギガ浮動小数点演算 (0.42) でスクラッチから訓練されている。 Data Science Bowls、GlaS、ISIC2018、PH2、Sunnybrook、Lung X-rayといった公開データセットの実験は有望な結果を示している。
  論文  参考訳（メタデータ） (2024-04-04T01:59:19Z)
• Asymmetric Masked Distillation for Pre-Training Small Foundation Models [52.56257450614992]
  自己教師型基礎モデルは、マスク付きオートエンコーディングの事前学習パラダイムのおかげで、コンピュータビジョンにおいて大きな可能性を秘めている。 本稿では、下流タスクに効率的に適応できる比較的小さな視覚変換器モデルを事前学習することに焦点を当てる。 自動符号化による比較的小さなモデルの事前学習のための新しい非対称マスク蒸留(AMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-06T14:44:34Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• A Simple and Generic Framework for Feature Distillation via Channel-wise Transformation [35.233203757760066]
  学習可能な非線形チャネルワイズ変換を提案し,教師モデルと生徒の特徴を一致させる。 本手法は,様々なコンピュータビジョンタスクにおいて,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2023-03-23T12:13:29Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)
• Extending Unsupervised Neural Image Compression With Supervised Multitask Learning [9.11819585066044]
  我々は、画像レベルの目標を予測するために、ギガピクセルの病理画像上で畳み込みニューラルネットワークを訓練する問題に焦点を当てる。 画像圧縮フレームワークであるNeural Image Compression(NIC)を拡張して,教師なしでトレーニングしたエンコーダネットワークを用いて,画像の次元を縮小する。 代わりに、教師付きマルチタスク学習(MTL)を用いて、このエンコーダを訓練することを提案する。
  論文  参考訳（メタデータ） (2020-04-15T12:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。