論文の概要: ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling

• arxiv url: http://arxiv.org/abs/2610.02903v1
• Date: Fri, 02 Oct 2026 06:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 09:54:32.241201
• Title: ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling
• Title（参考訳）: ViTok:PHI-Sとマスク画像モデリングによるAM-RADIO-Style Multi-Teacher蒸留におけるDense Semanticsの改善
• Abstract要約: 我々は,現在のVITOKの進歩を,グローバルな認識と密接なセマンティクスを共同で保存する,単一のマルチティーチンガー蒸留レシピに統合する方法について検討する。 我々の出発点は、SigLIP2とDINOv3-Lから蒸留されたAM-RADIOスタイルの学生で、SigLIP2は強力なグローバルセマンティクスを提供し、DINOv3-Lはより強い高密度な特徴を提供する。 このトレードオフをより明確にし、より管理しやすいものにする修正の進歩を要約します。 その結果、83.2のパッチkNNと85.2のCLSkNNに到達し、ImageNet-1K kNN分類におけるDINOv3-Lの教師をわずかに上回った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how to consolidate the current VITOK progress into a single multi-teacher distillation recipe that jointly preserves global recognition and dense semantics. Our starting point is an AM-RADIO-style student distilled from SigLIP2 and DINOv3-L, where SigLIP2 supplies strong global semantics and DINOv3-L supplies stronger dense features. The central empirical issue is that the same recipe does not optimize all objectives equally well: changes that improve ImageNet-1K kNN accuracy can still degrade ADE20K segmentation. We summarize a progression of modifications that make this trade-off more explicit and more manageable: split adaptor heads for CLS and patch tokens, asymmetric cosine/MSE losses, initialization from a DINOv3-L checkpoint, teacher reweighting, masked image modeling (MIM), and PHI-S feature balancing. The resulting model reaches 83.2 patch kNN and 85.2 CLS kNN, slightly surpassing the DINOv3-L teacher on ImageNet-1K kNN classification, while PHI-S restores ADE20K performance from 46.5/58.1 to 48.5/61.0 mIoU/mAcc, matching the teacher on this dense benchmark. We also summarize negative results: scaling distillation from ImageNet-1K to ImageNet22K does not consistently help, and naively adding extra teachers such as SAM3 or HOG features introduces interference. Rather than claiming a final recipe, this paper distills the current project state into a compact empirical story and a concrete set of lessons for future iterations.
• Abstract（参考訳）: 我々は,現在のVITOKの進歩を,グローバルな認識と密接なセマンティクスを共同で保存する,単一のマルチティーチンガー蒸留レシピに統合する方法について検討する。 我々の出発点は、SigLIP2とDINOv3-Lから蒸留されたAM-RADIOスタイルの学生で、SigLIP2は強力なグローバルセマンティクスを提供し、DINOv3-Lはより強い高密度な特徴を提供する。 中心的な経験的問題は、同じレシピがすべての目的を均等に最適化していないことである。 ImageNet-1K kNNの精度を改善する変更は、ADE20Kセグメンテーションを低下させる可能性がある。 CLSとパッチトークンのアダプタヘッド分割、非対称コサイン/MSE損失、DINOv3-Lチェックポイントの初期化、教師のリウェイト、マスク付き画像モデリング(MIM)、PHI-S機能バランス。 PHI-SはADE20Kのパフォーマンスを46.5/58.1から48.5/61.0 mIoU/mAccに復元し、この高密度ベンチマークで教師と一致させる。 ImageNet-1KからImageNet22Kへの蒸留のスケーリングは、常に役に立たない。 本論文では, 最終的なレシピを述べるのではなく, 現在のプロジェクト状態を, よりコンパクトな経験的ストーリーと, 今後のイテレーションのための具体的な教訓の集合に抽出する。

関連論文リスト

• Single-Channel Tissue Segmentation via Cross-Modal Distillation from Foundation Models [0.0]
  多重蛍光顕微鏡は、核(DAPI)と膜(E-カドヘリン)を含む相補的なチャネルを提供することで組織セグメンテーションを改善する 本研究では,核チャネルのみで動作する軽量の学生に,凍結基礎モデル教師による多重入力処理から意味情報を伝達するクロスモーダルな知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-30T23:34:49Z)
• ScaleKD: Strong Vision Transformers Could Be Excellent Teachers [15.446480934024652]
  本稿では, 簡便かつ効果的な知識蒸留法であるScaleKDを提案する。 本手法は,画像分類データセット上で,さまざまな畳み込みニューラルネットワーク(CNN),多層パーセプトロン(MLP),ViTアーキテクチャにまたがる学生のバックボーンを訓練することができる。 教師モデルやその事前学習データセットのサイズをスケールアップする際,提案手法は所望のスケーラブルな特性を示す。
  論文  参考訳（メタデータ） (2024-11-11T08:25:21Z)
• TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance [97.01406871579525]
  大規模言語画像事前学習モデルのための新しいクロスモーダル蒸留法TinyCLIPを提案する。 また、TinyCLIPは、トレーニング済みのCLIP ViT-B/32のサイズを50%削減し、ゼロショット性能を同等に維持できることを示した。 YFCC-15MでトレーニングしたTinyCLIP ViT-8M/16は、ImageNetで41.1%という印象的なゼロショットトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2023-09-21T17:59:53Z)
• A Simple and Generic Framework for Feature Distillation via Channel-wise Transformation [35.233203757760066]
  学習可能な非線形チャネルワイズ変換を提案し,教師モデルと生徒の特徴を一致させる。 本手法は,様々なコンピュータビジョンタスクにおいて,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2023-03-23T12:13:29Z)
• TinyMIM: An Empirical Study of Distilling MIM Pre-trained Models [31.16595289223858]
  マスク付き画像モデリング(MIM)は、事前学習大型視覚変換器(ViT)に強く貢献する しかし、現実世界のアプリケーションにとって重要な小さなモデルは、この事前学習アプローチの恩恵を受けることはできない。 我々は,MIMをベースとした大規模プレトレーニングモデルの成功を,より小さなモデルに伝達する蒸留技術について検討する。
  論文  参考訳（メタデータ） (2023-01-03T18:59:54Z)
• BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers [117.79456335844439]
  マスク付き予測のための再構成ターゲットとして,セマンティックリッチなビジュアルトークン化器を提案する。 次に、マスクされた画像パッチに対する元の視覚トークンを予測して、視覚変換器を事前訓練する。 画像分類とセマンティックセグメンテーションの実験は、我々のアプローチがMIM法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-08-12T16:48:10Z)
• Focal Modulation Networks [105.93086472906765]
  自己注意(SA)は完全に焦点変調ネットワーク(FocalNet)に置き換えられる ImageNet-1Kの精度は82.3%、83.9%である。 FocalNetsは下流のタスクに転送する際、顕著な優位性を示す。
  論文  参考訳（メタデータ） (2022-03-22T17:54:50Z)
• Highly Accurate Dichotomous Image Segmentation [139.79513044546]
  Dichotomous Image segmentation (DIS)と呼ばれる新しいタスクは、自然画像から高度に正確な物体を抽出することを目的としている。 私たちは、5,470の高解像度画像(例えば、2K、4K以上の画像)を含む最初の大規模データセットdis5Kを収集します。 また、Disdisモデルトレーニングのための特徴レベルとマスクレベルの両方のガイダンスを用いて、単純な中間監視ベースライン(IS-Net)を導入する。
  論文  参考訳（メタデータ） (2022-03-06T20:09:19Z)
• MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks [57.69809561405253]
  我々は、ImageNet上でバニラResNet-50を80%以上のTop-1精度に向上できるフレームワークを、トリックなしで導入する。 本手法は,バニラResNet-50を用いた224x224の1つの作物サイズを用いて,ImageNetの80.67%のトップ1精度を得る。 我々のフレームワークは常に69.76%から73.19%に改善されている。
  論文  参考訳（メタデータ） (2020-09-17T17:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。