論文の概要: The Surprising Effectiveness of Canonical Knowledge Distillation for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2604.25530v2
• Date: Wed, 29 Apr 2026 12:45:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 13:51:54.15175
• Title: The Surprising Effectiveness of Canonical Knowledge Distillation for Semantic Segmentation
• Title（参考訳）: セマンティックセグメンテーションにおけるカノニカル知識蒸留の有効性について
• Authors: Muhammad Ali, Kevin Alexander Laube, Madan Ravi Ganesh, Lukas Schott, Niclas Popp, Thomas Brox,
• Abstract要約: ウォールクロック計算が一致した場合、標準ロジットおよび特徴に基づくKDは、近年のセグメンテーション固有の手法より優れていることを示す。 PSPNet ResNet-18の学生はパラメータの4分の1しか使っていないにもかかわらず、ResNet-101の教師に近づいた。
• 参考スコア（独自算出の注目度）: 18.541554165022326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent knowledge distillation (KD) methods for semantic segmentation introduce increasingly complex hand-crafted objectives, yet are typically evaluated under fixed iteration schedules. These objectives substantially increase per-iteration cost, meaning equal iteration counts do not correspond to equal training budgets. It is therefore unclear whether reported gains reflect stronger distillation signals or simply greater compute. We show that iteration-based comparisons are misleading: when wall-clock compute is matched, canonical logit- and feature-based KD outperform recent segmentation-specific methods. Under extended training, feature-based distillation achieves state-of-the-art ResNet-18 performance on Cityscapes and ADE20K. A PSPNet ResNet-18 student closely approaches its ResNet-101 teacher despite using only one quarter of the parameters, reaching 99% of the teacher's mIoU on Cityscapes (79.0 vs 79.8) and 92% on ADE20K. Our results challenge the prevailing assumption that KD for segmentation requires task-specific mechanisms and suggest that scaling, rather than complex hand-crafted objectives, should guide future method design.
• Abstract（参考訳）: セマンティックセグメンテーションのための最近の知識蒸留(KD)法は、ますます複雑な手作りの目的を導入しているが、通常、固定されたイテレーションスケジュールで評価される。 これらの目的は、イテレーション当たりのコストを大幅に増加させ、つまり、同じイテレーションカウントが、同等のトレーニング予算と一致しないことを意味する。 したがって、報告された利得がより強い蒸留信号や単に大きい計算を反映するかどうかは不明である。 ウォールクロック計算が一致した場合、標準ロジットおよび機能ベースのKDは、最近のセグメンテーション固有の手法より優れている。 拡張トレーニングの下で、機能ベースの蒸留は、CityscapesとADE20Kで最先端のResNet-18のパフォーマンスを達成する。 PSPNet ResNet-18の学生は、パラメータの4分の1しか使用していないにもかかわらず、ResNet-101の教師に近づき、CityscapesのmIoUの99%(79.0対79.8)、ADE20Kの92%に達した。 本研究は,KDがタスク固有の機構を必要とするという仮定に挑戦し,複雑な手作りの目的ではなく,スケーリングが将来の手法設計を導くべきであることを示唆した。

関連論文リスト

• Teacher-Guided One-Shot Pruning via Context-Aware Knowledge Distillation [7.870062030206608]
  非構造化プルーニングは、ディープニューラルネットワークを圧縮するための強力な戦略である。 本稿では,KD(Knowledge Distillation)と重要スコア推定を密に統合した,教師指導型プルーニングフレームワークを提案する。 本手法は,本態的な表現を保ちながら,冗長な重みを効率的に除去するワンショットグローバルプルーニング戦略を促進する。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Exploring Structural Degradation in Dense Representations for Self-supervised Learning [84.52554180480037]
  自己教師付き学習(SSL)における直感的な現象を観察する。 我々は、この現象を自己教師付きDense Degradation(SDD)と呼び、16の最先端SSLメソッドに一貫した存在を示す。 本稿では,クラス関連尺度と有効次元尺度からなるDense Expression Structure Estimator (DSE)を紹介する。
  論文  参考訳（メタデータ） (2025-10-20T08:40:16Z)
• ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
  パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。 ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。 我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
  論文  参考訳（メタデータ） (2024-03-29T11:31:12Z)
• Augmentation-Free Dense Contrastive Knowledge Distillation for Efficient Semantic Segmentation [16.957139277317005]
  Af-DCD(Augmentation-free Dense Contrastive Knowledge Distillation)は、新しいコントラスト蒸留学習パラダイムである。 Af-DCDはセマンティックセグメンテーションのためのコンパクトで正確なディープニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2023-12-07T09:37:28Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• CLIP-KD: An Empirical Study of CLIP Model Distillation [24.52910358842176]
  本稿では,大規模教師CLIPモデルによって指導される小型CLIPモデルを蒸留することを目的とする。 Mean Squared Error損失による単純な機能模倣が驚くほどうまく機能することを示す。 教師と生徒のエンコーダ間の対話的コントラスト学習は、性能向上にも有効である。
  論文  参考訳（メタデータ） (2023-07-24T12:24:07Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Co-supervised learning paradigm with conditional generative adversarial networks for sample-efficient classification [8.27719348049333]
  本稿では,サンプル効率のよい協調学習パラダイム(SEC-CGAN)を提案する。 SEC-CGANは、分類器と共にトレーニングされ、トレーニングプロセス中に注釈付きデータにセマンティクスを条件付き、信頼性に配慮した合成例を補完する。 実験により、SEC-CGAN は外部分類器 GAN とベースライン ResNet-18 の分類器より優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-27T19:24:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。