論文の概要: Grid-Preserving Knowledge Distillation: Transferring Convolutional Inductive Bias to Vision Transformers under Data Scarcity

• arxiv url: http://arxiv.org/abs/2608.10723v2
• Date: Thu, 13 Aug 2026 08:56:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 14:00:09.684148
• Title: Grid-Preserving Knowledge Distillation: Transferring Convolutional Inductive Bias to Vision Transformers under Data Scarcity
• Title（参考訳）: グリッド保存型知識蒸留:データスカシティ下での畳み込み誘導バイアスを視覚変換器に転送する
• Abstract要約: 視覚変換器は目覚ましいグローバルなモデリング能力を示すが、しばしばデータスカース方式では性能が劣る。 転送プロセス全体を通して空間グリッドを保存するフレームワークiBKDを提案する。 iBKDは、局所性誘導法と一般知識蒸留ベースラインの両方を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 6.827241106564254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers demonstrate remarkable global modeling capacity but often underperform in data-scarce regimes. Distilling convolutional inductive biases from a CNN teacher provides an effective remedy while leaving the deployed model unchanged. However, general-purpose feature distillation transfers little in this setting. In CNN-to-CNN distillation, pooling, flattening, and logit-space projections remove the spatial grid that encodes locality and translation equivariance. Unlike a convolutional student, a ViT cannot readily reconstruct this structure on its own. In this paper, we propose iBKD, a distillation framework that preserves the spatial grid throughout the entire transfer process. Its core module, the Inductive Bias Attention Module, aggregates features from all student layers onto the teacher's grid using learned weights. It then enhances structural cues through channel and deformable spatial attention and injects them via convolutional cross-attention operating directly between spatial grids rather than token sets. The module is used only during training, leaving the deployed model as an unmodified ViT with no inference overhead. Across seven Transformer backbones and six data-scarce benchmarks, iBKD consistently outperforms both locality-guidance methods and general knowledge distillation baselines, with its advantage increasing as the amount of training data decreases.
• Abstract（参考訳）: 視覚変換器は目覚ましいグローバルなモデリング能力を示すが、しばしばデータスカース方式では性能が劣る。 CNN教師からの畳み込み誘導バイアスの蒸留は、デプロイされたモデルをそのまま残しながら効果的な治療を提供する。 しかし、この設定では汎用的特徴蒸留は少ない。 CNN-to-CNN蒸留では、プール、平ら化、および対数空間の射影により、局所性と変換の等価性を符号化する空間格子が除去される。 畳み込みの学生とは異なり、ViTは容易にこの構造を再構築することはできない。 本稿では,移動過程全体を通して空間格子を保存する蒸留フレームワークiBKDを提案する。 そのコアモジュールであるインダクティブバイアス注意モジュール(Inductive Bias Attention Module)は、学習したウェイトを使って、すべての学生層から教師のグリッドに機能を集約する。 その後、チャネルと変形可能な空間的注意を通して構造的手がかりを強化し、トークンセットではなく、空間的グリッド間で直接操作される畳み込み的相互注意を通じてそれらを注入する。 モジュールはトレーニング時にのみ使用され、デプロイされたモデルは推論オーバーヘッドなしで未修正のViTとして残される。 7つのトランスフォーマーバックボーンと6つのデータスカースベンチマークにおいて、iBKDは局所性誘導法と一般知識蒸留ベースラインの両方を一貫して上回り、トレーニングデータの量が減少するにつれてその優位性は増大する。

関連論文リスト

• Active Spatial Guidance: Eliminating Injected Positional Mechanisms in Vision Transformers [14.844683088763118]
  本研究では,位置注入を無効にするトレーニング専用目標として,アクティブ空間ガイダンス(Guidance)を提案する。 ガイダンスは、ImageNet-100分類、ADE20Kセマンティックセグメンテーション、ハイパーシム単分子深度推定の性能を一貫して改善する。 以上の結果から,ViTの空間誘導バイアスは建築的に注入される必要はなく,訓練時の監督によって形成可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-07-01T08:02:46Z)
• SWARD: Stochastic Window-Attention-Based Relational Distillation for Cross-Architectural Semantic Segmentation [1.1617094867403568]
  大規模視覚基盤モデルは、セマンティックセグメンテーションのような密集した予測タスクに大きな利益をもたらした。 現代の基礎教師は、主にグローバルコンテキストを符号化するトランスフォーマーベースであるのに対し、効率的な学生は、通常、局所的に偏った受容場を持つ畳み込みネットワークである。 既存の蒸留法は主に構造的均質性を前提としており、直接的特徴模倣に依存しており、この表現的ギャップを埋めることができない。 本稿では,このギャップを2つの相補的なメカニズムで解決する知識蒸留フレームワークSWARDを提案する。
  論文  参考訳（メタデータ） (2026-05-31T04:29:31Z)
• Dual-branch Distilled Transformer for Efficient Asymmetric UAV Tracking [34.13651852483772]
  EATrackは教師が指導するUAV追跡のための二重分岐蒸留戦略である。 生徒に強い対象表現を学習させることで、表現の弱さを補う。 5つのUAVベンチマークの実験では、EATrackは精度と速度のバランスが良好であることが示されている。
  論文  参考訳（メタデータ） (2026-05-27T06:20:13Z)
• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• Data Efficient Any Transformer-to-Mamba Distillation via Attention Bridge [54.948715010753745]
  状態空間モデル(SSM)はシーケンシャルモデリングのためのトランスフォーマーの効率的な代替品として登場し、再帰的な構造を通して優れたスケーラビリティを提供する。 本研究では,トランスフォーマーの教師から状態空間の学生モデルへの注意知識の伝達を効率的に行う新しいデータ効率蒸留フレームワークであるCAB(Cross-architecture distillation via Attention Bridge)を提案する。 本研究は,より強力なSSMコミュニティを構築するために,Transformerの専門知識の迅速な活用を可能にするために,注意に基づく知識を反復モデルに効率的に移行できることを示唆する。
  論文  参考訳（メタデータ） (2025-10-22T05:56:14Z)
• DuoFormer: Leveraging Hierarchical Representations by Local and Global Attention Vision Transformer [1.456352735394398]
  本稿では、畳み込みニューラルネットワーク(CNN)の特徴抽出機能と視覚変換器(ViT)の高度な表現可能性とを包括的に統合した新しい階層型トランスフォーマーモデルを提案する。 インダクティブバイアスの欠如と、ViTの広範囲なトレーニングデータセットへの依存に対処するため、我々のモデルはCNNバックボーンを使用して階層的な視覚表現を生成する。 これらの表現は、革新的なパッチトークン化プロセスを通じてトランスフォーマー入力に適応し、継承されたマルチスケールの帰納バイアスを保存する。
  論文  参考訳（メタデータ） (2025-06-15T22:42:57Z)
• Promoting CNNs with Cross-Architecture Knowledge Distillation for Efficient Monocular Depth Estimation [4.242540533823568]
  トランスフォーマーモデルは通常計算に精通し、その軽量モデルにおける有効性は畳み込みと比較して制限される。 本研究では, 最先端変圧器モデルを監督し, 効率的なCNNモデルを構築するために, DisDepth と呼ばれるMDE のクロスアーキテクチャ知識蒸留手法を提案する。 提案手法は, 種々の効率的な背骨に有意な改良を施し, 効率的な単分子深度推定の可能性を示した。
  論文  参考訳（メタデータ） (2024-04-25T07:55:47Z)
• Self-Supervised Pre-Training for Table Structure Recognition Transformer [25.04573593082671]
  テーブル構造認識変換器のための自己教師付き事前学習(SSP)手法を提案する。 線形射影変換器とハイブリッドCNN変換器のパフォーマンスギャップは、TSRモデルにおける視覚エンコーダのSSPにより緩和できる。
  論文  参考訳（メタデータ） (2024-02-23T19:34:06Z)
• TransXNet: Learning Both Global and Local Dynamics with a Dual Dynamic Token Mixer for Visual Recognition [63.93802691275012]
  グローバル・ローカル・ダイナミクスを同時に学習するための軽量なデュアル・ダイナミック・トケン・ミキサー(D-Mixer)を提案する。 我々は、新しいハイブリッドCNN-TransformerビジョンバックボーンネットワークであるTransXNetを設計するために、基本的なビルディングブロックとしてD-Mixerを使用している。 ImageNet-1K分類では、TransXNet-TはSwin-Tを0.3%上回り、計算コストの半分以下である。
  論文  参考訳（メタデータ） (2023-10-30T09:35:56Z)
• LIB-KD: Teaching Inductive Bias for Efficient Vision Transformer Distillation and Compression [4.0120180943504655]
  ViT(Vision Transformers)は、視覚領域とテキスト領域にまたがる統一された情報処理の展望を提供する。 本稿では, 共用軽量教師モデルから誘導バイアスを消し去る, アンサンブルに基づく蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T13:21:29Z)
• 2-D SSM: A General Spatial Layer for Visual Transformers [79.4957965474334]
  コンピュータビジョンの中心的な目的は、適切な2次元帰納バイアスを持つモデルを設計することである。 多次元状態空間モデルの表現的変動を利用する。 本稿では,効率的なパラメータ化,高速化計算,適切な正規化方式を提案する。
  論文  参考訳（メタデータ） (2023-06-11T09:41:37Z)
• Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
  トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。 我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
  論文  参考訳（メタデータ） (2023-04-13T17:57:54Z)
• Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
  SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。 実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-14T12:53:27Z)
• TransKD: Transformer Knowledge Distillation for Efficient Semantic Segmentation [49.794142076551026]
  Transformer-based Knowledge Distillation (TransKD) フレームワークは,大規模教師トランスフォーマーの機能マップとパッチ埋め込みの両方を蒸留することにより,コンパクトな学生トランスフォーマーを学習する。 Cityscapes、ACDC、NYUv2、Pascal VOC2012データセットの実験は、TransKDが最先端の蒸留フレームワークより優れていることを示している。
  論文  参考訳（メタデータ） (2022-02-27T16:34:10Z)
• Semi-Supervised Vision Transformers [76.83020291497895]
  半教師付き画像分類のための視覚変換器の訓練について検討する。 半教師付き ImageNet 設定では,ビジョントランスフォーマーの性能が良くない。 CNNは小さなラベル付きデータ構造において優れた結果を得る。
  論文  参考訳（メタデータ） (2021-11-22T09:28:13Z)
• Co-advise: Cross Inductive Bias Distillation [39.61426495884721]
  視覚変換器を訓練するための新しい蒸留法を提案する。 我々は,学生トランスフォーマーを共同で助言するために,異なるアーキテクチャ的帰納バイアスを持つ軽量な教員を紹介した。 私たちのビジョントランスフォーマー(CivT)は、ImageNetで同じアーキテクチャの以前のトランスフォーマーよりも優れています。
  論文  参考訳（メタデータ） (2021-06-23T13:19:59Z)
• Efficient Training of Visual Transformers with Small-Size Datasets [64.60765211331697]
  進化的ネットワーク(CNN)に代わるアーキテクチャパラダイムとして、ビジュアルトランスフォーマー(VT)が登場している。 ImageNetでトレーニングされた場合、同等の精度を持つにもかかわらず、より小さなデータセットでのパフォーマンスは、大きく異なる可能性があることを示す。 本稿では,計算オーバーヘッドの少ない画像から追加情報を抽出できる自己教師型タスクを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。