論文の概要: The Devil is in the Spectrum Bias: Spectrum-Balanced Feature Matching for Robust Representation Distillation

• arxiv url: http://arxiv.org/abs/2609.34106v1
• Date: Mon, 28 Sep 2026 01:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 06:56:55.797295
• Title: The Devil is in the Spectrum Bias: Spectrum-Balanced Feature Matching for Robust Representation Distillation
• Title（参考訳）: Devil is in the Spectrum Bias: Spectrum-Balanced Feature Matching for Robust Representation Distillation
• Abstract要約: SpecMatchは、優先方向の相対的重要性を保ちながら、最適化されていないスペクトル方向を適応的に強調する単純な目的である。 画像認識の実験では、SpecMatchはさまざまなタスクの下流適応を一貫して改善している。 さらに,提案した目的が視覚を超えて一般化し,6つのタンパク質理解タスクの下流性能が向上することが実証された。
• 参考スコア（独自算出の注目度）: 18.361585089800226
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large visual foundation models have demonstrated remarkable transferability across a wide range of downstream tasks. To deploy such models efficiently, feature matching has become a popular knowledge distillation approach that transfers teacher representations to smaller student models without requiring labeled data. However, we show that the conventional feature matching objective with L2-distance is inherently biased toward reconstructing dominant spectral directions of the teacher representation, while under-optimizing low-variance directions that often contain task-relevant information. To address this, we propose Spectrum-Balanced Feature Matching, SpecMatch, a simple objective that adaptively emphasizes under-optimized spectral directions while preserving the relative importance of dominant directions. SpecMatch is easy to implement and introduces negligible computational overhead. Extensive experiments on image recognition demonstrate that SpecMatch consistently improves downstream adaptation across diverse tasks, including image classification, anomaly detection, medical image analysis, and domain generalization. In particular, SpecMatch outperforms conventional feature matching in 40 of 42 teacher--student and training-setting combinations, while consistently improving over the original student model in all settings. We further demonstrate that the proposed objective generalizes beyond vision, improving downstream performance across six protein understanding tasks.
• Abstract（参考訳）: 大規模な視覚基盤モデルは、広範囲の下流タスクで顕著な転送可能性を示している。 このようなモデルを効率的に展開するためには、ラベル付きデータを必要とせず、教師表現をより小さな学生モデルに転送する知識蒸留手法として、特徴マッチングが一般的なものとなっている。 しかし,従来のL2距離特徴マッチング目的は,タスク関連情報を含む低分散方向を過度に最適化しつつ,教師表現の主観的方向の再構成に偏りがあることが示唆された。 そこで本稿では,スペクトルベースの特徴マッチングであるSpecMatchを提案する。これはスペクトル方向の相対的重要性を保ちながら,過度に最適化されていないスペクトル方向を適応的に強調する単純な目的である。 SpecMatchは実装が容易で、無視できる計算オーバーヘッドを導入します。 画像認識に関する大規模な実験により、SpecMatchは画像分類、異常検出、医用画像解析、ドメインの一般化など、さまざまなタスクにわたる下流適応を一貫して改善している。 特にSpecMatchは、42人中40人の教師と訓練と設定の組み合わせで従来の特徴マッチングよりも優れており、全ての設定で元の学生モデルよりも一貫して改善されている。 さらに,提案した目的が視覚を超えて一般化し,6つのタンパク質理解タスクの下流性能が向上することが実証された。

関連論文リスト

• Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation [36.9736177938003]
  token-level Response-visual Attention Guidance (TRAG)を紹介する。 TRAGは、フォーカスをレスポンス・ツー・ビジョンの信号にシフトし、トークン固有の目的を使用する。 複数のベンチマークによる実験結果から,TRAGは蒸留前のベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2026-07-01T08:03:30Z)
• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• Brewing Stronger Features: Dual-Teacher Distillation for Multispectral Earth Observation [0.0]
  基礎モデルは地球観測 (EO) を変えつつあるが、EOセンサーとモダリティの多様性により、単一の普遍モデルが非現実的である。 マルチスペクトル画像のための二重教育用コントラスト蒸留フレームワークを提案する。 提案手法はマルチスペクトル教師と光学的VFM教師を組み合わせることで,コヒーレントなクロスモーダル表現学習を実現する。
  論文  参考訳（メタデータ） (2026-02-23T14:09:01Z)
• Unleashing the Power of Vision-Language Models for Long-Tailed Multi-Label Visual Recognition [55.189113121465816]
  本稿では,長い尾を持つ多ラベル視覚認識のための新しい相関適応プロンプトネットワーク(CAPNET)を提案する。 CAPNETはCLIPのテキストエンコーダからの相関を明示的にモデル化する。 テスト時間アンサンブルによる一般化を改善し、視覚・テクスチャのモダリティを実現する。
  論文  参考訳（メタデータ） (2025-11-25T18:57:28Z)
• Rebellious Student: A Complementary Learning Framework for Background Feature Enhancement in Hyperspectral Anomaly Detection [7.206622567840932]
  補完的な特徴学習のための新しい「反逆的な学生」フレームワークを導入する。 模擬による従来の教師学生パラダイムとは違って,本手法は空間枝を意図的に訓練し,スペクトル教師から逸脱させる。 このフレームワークは、スペクトル背景と空間背景の両方を拡張し、パラメータフリーおよびトレーニング不要な異常検出を可能にする。
  論文  参考訳（メタデータ） (2025-10-21T16:31:56Z)
• ResiDual Transformer Alignment with Spectral Decomposition [31.14332778586179]
  我々は、残像のスペクトル幾何学に着目し、視覚変換器の現象を解析する。 様々な入力データ分布にまたがる特殊な役割をエンコードしていることを示す。 本稿では,残流のスペクトルアライメント技術であるResiDualを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T22:51:45Z)
• What Matters When Repurposing Diffusion Models for General Dense Perception Tasks? [49.84679952948808]
  最近の研究は、高密度知覚タスクのためのT2I拡散モデルを簡単に調整することで有望な結果を示す。 拡散前処理における伝達効率と性能に影響を及ぼす重要な要因を徹底的に検討する。 我々の研究は、濃密な視覚認知タスクに特化した効果的な決定論的ワンステップ微調整パラダイムであるGenPerceptの開発において頂点に達した。
  論文  参考訳（メタデータ） (2024-03-10T04:23:24Z)
• Class-Balanced Distillation for Long-Tailed Visual Recognition [100.10293372607222]
  実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。 本研究では、インスタンスサンプリングで学習した特徴表現が長尾設定では最適とは程遠いという重要な観察を行うことで、新しいフレームワークを提案する。 我々の主な貢献は、知識蒸留を利用して特徴表現を強化する新しい訓練方法である。
  論文  参考訳（メタデータ） (2021-04-12T08:21:03Z)
• Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer [116.46533207849619]
  数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。 本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-06T14:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。