論文の概要: SWARD: Stochastic Window-Attention-Based Relational Distillation for Cross-Architectural Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2606.00999v1
• Date: Sun, 31 May 2026 04:29:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.057509
• Title: SWARD: Stochastic Window-Attention-Based Relational Distillation for Cross-Architectural Semantic Segmentation
• Title（参考訳）: SWARD: 階層間セマンティックセマンティックセグメンテーションのための確率的ウィンドウアテンションに基づく関係蒸留
• Authors: Aditya Makineni, Qing Tian,
• Abstract要約: 大規模視覚基盤モデルは、セマンティックセグメンテーションのような密集した予測タスクに大きな利益をもたらした。 現代の基礎教師は、主にグローバルコンテキストを符号化するトランスフォーマーベースであるのに対し、効率的な学生は、通常、局所的に偏った受容場を持つ畳み込みネットワークである。 既存の蒸留法は主に構造的均質性を前提としており、直接的特徴模倣に依存しており、この表現的ギャップを埋めることができない。 本稿では,このギャップを2つの相補的なメカニズムで解決する知識蒸留フレームワークSWARDを提案する。
• 参考スコア（独自算出の注目度）: 1.1617094867403568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale vision foundation models have driven substantial gains on dense prediction tasks such as semantic segmentation, but their size makes deployment impractical in resource-constrained settings, motivating knowledge distillation as a means of transferring their capabilities to lightweight student networks. However, modern foundation teachers are predominantly transformer-based that encode global context, whereas efficient students are typically convolutional networks with locally biased receptive fields. Existing distillation methods largely assume architectural homogeneity and rely on direct feature mimicry, which fails to bridge this representational gap and neglects the structured spatial dependencies and discriminative organization required for accurate semantic segmentation. In this paper, we propose SWARD, a knowledge distillation framework that addresses this gap through two complementary mechanisms. First, we introduce a Multi-Scale Windowed Attention Distillation (MWAD) module that aligns teacher-student attention-based relations within stochastically shifted window partitions whose offsets are randomly resampled at every training iteration. This removes window boundary bias, and, combined with the multi-scale design, captures both short- and long-range spatial dependencies. Second, we introduce Prototype Discriminative Regularization (PDR), a loss that helps shape the student's feature distribution by enforcing inter-class separation and intra-class compactness, further sharpening the discriminative structure beyond what feature mimicry alone can produce under the student's reduced capacity. Experiments across different vision applications (i.e., urban scene parsing and medical image segmentation) show that SWARD achieves state-of-the-art performance.
• Abstract（参考訳）: 大規模ビジョン基盤モデルは、セマンティックセグメンテーションのような密集した予測タスクにかなりの利益をもたらしたが、そのサイズは、リソース制約された環境での展開を非現実的にし、その能力を軽量の学生ネットワークに転送する手段として知識蒸留を動機付けている。 しかし、現代の基礎教師は、主にグローバルな文脈を符号化するトランスフォーマーベースであり、一方、効率的な学生は、局所的に偏った受容場を持つ畳み込みネットワークである。 既存の蒸留法は主に構造的均質性を前提としており、直接的特徴模倣に依存しており、これはこの表現的ギャップを埋めることに失敗し、正確なセマンティックセグメンテーションに必要な構造的空間依存や識別的組織を無視している。 本稿では,このギャップを2つの相補的なメカニズムで解決する知識蒸留フレームワークSWARDを提案する。 まず,学習繰り返し毎にオフセットがランダムに再サンプリングされる確率的にシフトしたウィンドウパーティション内で,教師と学生の注意に基づく関係を整列するMWAD(Multi-Scale Windowed Attention Distillation)モジュールを提案する。 これにより、ウィンドウ境界バイアスが排除され、複数スケールの設計と組み合わせることで、短距離と長距離の両方の空間依存をキャプチャする。 第二にPDR(Prototype Discriminative Regularization)を導入し、クラス間分離とクラス内コンパクトさを強制することで、学生の特徴分布を形作るのに役立てる。 異なる視覚応用(都市シーン解析や医用画像分割など)にわたる実験は、SWARDが最先端のパフォーマンスを達成することを示す。

関連論文リスト

• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• Rethinking Vector Field Learning for Generative Segmentation [50.08025820235397]
  生成的セグメンテーションのためのモデリング拡散モデルが注目されている。 ベクトル場学習の観点から拡散セグメンテーションを再考する。 本稿では,学習した消滅速度場を距離認識補正項で拡張するベクトル場再構成手法を提案する。 この補正は、誘引的相互作用と反発的相互作用の両方を導入し、元の拡散訓練フレームワークを保ちながら、セントロイド付近の勾配等級を増大させる。
  論文  参考訳（メタデータ） (2026-03-19T17:58:19Z)
• Discriminative Flow Matching Via Local Generative Predictors [0.0]
  条件付き輸送プロセスとして分類と対象検出を再構成する枠組みを提案する。 本手法では,複数の独立フロー予測器を共有バックボーンにアタッチする。 このアーキテクチャは、アクティベーションメモリを最小化するために、あるいは異なるハードウェア制約に適合するために、ブロックを順次更新する柔軟性を提供する。
  論文  参考訳（メタデータ） (2026-03-14T12:56:29Z)
• UHKD: A Unified Framework for Heterogeneous Knowledge Distillation via Frequency-Domain Representations [5.382357091398666]
  クロスアーキテクチャ転送に周波数領域の中間的特徴を利用するフレームワークとして、統一不均一知識蒸留(UHKD)が提案されている。 CIFAR-100とImageNet-1Kの実験では、最新の手法よりも5.59%、0.83%向上した。
  論文  参考訳（メタデータ） (2025-10-28T06:41:43Z)
• Patch-Level Kernel Alignment for Dense Self-Supervised Learning [7.5866326278176075]
  Patch-level Kernel Alignment (PaKA) は、非パラメトリックなカーネルベースのアプローチで、事前学習した視覚エンコーダの高密度表現をポスト(pre)トレーニングで改善する。 本フレームワークは,事前学習モデル上に軽量な後学習段階を施すことにより,高密度表現を改善する。 1つのGPUで14時間追加のトレーニングを行うだけで、この手法は様々な高密度ビジョンベンチマークで最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2025-09-06T05:42:32Z)
• Contrastive Representation Distillation via Multi-Scale Feature Decoupling [2.0401874889991887]
  グローバルな特徴をマルチスケールな局所的特徴に体系的に分離する,モデルに依存しない蒸留フレームワークであるMSDCRDを提案する。 総合的な実験により,MSDCRDは同質な教師・学生設定だけでなく,異種アーキテクチャでも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-09T10:03:18Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Contrastive Distillation on Intermediate Representations for Language Model Compression [89.31786191358802]
  本稿では,中間表現に関するコントラスト蒸留(Contrastive Distillation on Intermediate Representation, CoDIR)について, 基本知識蒸留フレームワークとして提案する。 ポジティブなサンプルと大量のネガティブなサンプルを区別することを学ぶことで、CoDIRは教師の隠れた層におけるリッチな情報の利用を促進する。 CoDIRは、事前学習と微調整の両方の段階で大規模言語モデルに容易に適用でき、GLUEベンチマークで最高性能を達成できる。
  論文  参考訳（メタデータ） (2020-09-29T17:31:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。