論文の概要: Towards Complementary Knowledge Distillation for Efficient Dense Image Prediction
- arxiv url: http://arxiv.org/abs/2401.13174v3
- Date: Thu, 27 Mar 2025 01:07:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-28 12:49:26.258896
- Title: Towards Complementary Knowledge Distillation for Efficient Dense Image Prediction
- Title（参考訳）: 効率的な高密度画像予測のための補完的知識蒸留に向けて
- Authors: Dong Zhang, Pingcheng Dong, Long Chen, Kwang-Ting Cheng,
- Abstract要約: 知識蒸留(KD)フレームワークを用いて訓練した小型高効率高密度画像予測(EDIP)モデルは,2つの課題に直面することが明らかとなった。
EDIPのKDフレームワーク内で, 相補的境界とコンテキスト蒸留(BCD)法を提案する。
我々の手法は、余分な監督や推論コストの増大を必要とせず、既存の手法よりも優れている。
- 参考スコア（独自算出の注目度）: 30.975580866705783
- License:
- Abstract: It has been revealed that small efficient dense image prediction (EDIP) models, trained using the knowledge distillation (KD) framework, encounter two key challenges, including maintaining boundary region completeness and preserving target region connectivity, despite their favorable capacity to recognize main object regions. In this work, we propose a complementary boundary and context distillation (BCD) method within the KD framework for EDIPs, which facilitates the targeted knowledge transfer from large accurate teacher models to compact efficient student models. Specifically, the boundary distillation component focuses on extracting explicit object-level semantic boundaries from the hierarchical feature maps of the backbone network to enhance the student model's mask quality in boundary regions. Concurrently, the context distillation component leverages self-relations as a bridge to transfer implicit pixel-level contexts from the teacher model to the student model, ensuring strong connectivity in target regions. Our proposed BCD method is specifically designed for EDIP tasks and is characterized by its simplicity and efficiency. Extensive experimental results across semantic segmentation, object detection, and instance segmentation on various representative datasets demonstrate that our method can outperform existing methods without requiring extra supervisions or incurring increased inference costs, resulting in well-defined object boundaries and smooth connecting regions.
- Abstract（参考訳）: 知識蒸留(KD)フレームワークを用いて訓練した小型高密度画像予測(EDIP)モデルでは,主対象領域の認識能力が良好であるにもかかわらず,境界領域の完全性維持や目標領域の接続性維持など,2つの重要な課題に直面していることが明らかになった。
本研究では,EDIPのKDフレームワークにおいて,大規模教師モデルからコンパクトな生徒モデルへの目標知識の伝達を容易にする補完的境界・文脈蒸留(BCD)手法を提案する。
具体的には,バックボーンネットワークの階層的特徴マップから明確なオブジェクトレベルのセマンティック境界を抽出して,境界領域における生徒モデルのマスク品質を高めることに焦点を当てた。
同時に、コンテキスト蒸留コンポーネントは、教師モデルから学生モデルに暗黙のピクセルレベルのコンテキストを転送するブリッジとして自己関係を活用し、ターゲット領域における強い接続性を確保する。
提案手法はEDIPタスクに特化して設計されており,その単純さと効率性が特徴である。
セマンティックセグメンテーション,オブジェクト検出,インスタンスセグメンテーションにまたがる広範囲な実験結果から,我々の手法は,余分な監督や推論コストの増大を伴わずに既存の手法よりも優れており,適切に定義されたオブジェクト境界とスムーズな接続領域が得られることが示された。
関連論文リスト
- Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。
アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。
ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
論文 参考訳（メタデータ） (2024-04-28T08:44:28Z) - Attention-guided Feature Distillation for Semantic Segmentation [8.344263189293578]
本稿では,改良された特徴写像を用いて注目を伝達するための簡易かつ強力な手法の有効性を示す。
提案手法は, セマンティックセグメンテーションにおける既存手法を高密度な予測課題として優れ, リッチな情報の蒸留に有効であることが証明された。
論文 参考訳（メタデータ） (2024-03-08T16:57:47Z) - Background Activation Suppression for Weakly Supervised Object
Localization and Semantic Segmentation [84.62067728093358]
弱教師付きオブジェクトローカライゼーションとセマンティックセグメンテーションは、画像レベルのラベルのみを使用してオブジェクトをローカライズすることを目的としている。
画素レベルのローカライゼーションを実現するために,フォアグラウンド予測マップを生成することで,新たなパラダイムが誕生した。
本稿では,物体の局在化学習過程に関する2つの驚くべき実験結果を示す。
論文 参考訳（メタデータ） (2023-09-22T15:44:10Z) - Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。
画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。
オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文 参考訳（メタデータ） (2023-07-07T04:03:48Z) - BPKD: Boundary Privileged Knowledge Distillation For Semantic
Segmentation [20.450568708073767]
本稿では,セマンティックセグメンテーションのための境界優先型知識蒸留(BPKD)を提案する。
BPKDは、教師モデルの体とエッジの知識を、コンパクトな学生モデルと別々に蒸留する。
BPKD法は, エッジ領域とボディ領域を広範囲に改良し, 集約する手法であることを示す。
論文 参考訳（メタデータ） (2023-06-13T18:45:32Z) - Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation
for Scene Recognition [64.29650787243443]
本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。
この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。
我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
論文 参考訳（メタデータ） (2022-05-04T11:05:18Z) - Point-Level Region Contrast for Object Detection Pre-Training [147.47349344401806]
本稿では,物体検出作業のための自己教師付き事前学習手法である点レベル領域コントラストを提案する。
提案手法は,異なる領域から個々の点対を直接抽出することにより,コントラスト学習を行う。
領域ごとの集約表現と比較すると,入力領域の品質の変化に対して,我々のアプローチはより堅牢である。
論文 参考訳（メタデータ） (2022-02-09T18:56:41Z) - Weakly Supervised Semantic Segmentation via Alternative Self-Dual
Teaching [82.71578668091914]
本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。
本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
論文 参考訳（メタデータ） (2021-12-17T11:56:56Z) - Boundary Guided Context Aggregation for Semantic Segmentation [23.709865471981313]
我々は、画像の全体的意味理解を促進するために、コンテキストアグリゲーションのための重要なガイダンスとして境界を利用する。
我々はCityscapesとADE20Kデータベースに関する広範な実験を行い、最先端の手法で同等の結果を得る。
論文 参考訳（メタデータ） (2021-10-27T17:04:38Z) - BiconNet: An Edge-preserved Connectivity-based Approach for Salient
Object Detection [3.3517146652431378]
既存のSaliencyベースのSODフレームワークをバックボーンとして使用できることを示す。
5つのベンチマークデータセットの総合的な実験を通して,提案手法が最先端のSOD手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-02-27T21:39:04Z) - Interpretable and Accurate Fine-grained Recognition via Region Grouping [14.28113520947247]
微粒な視覚認識のための解釈可能な深層モデルを提案する。
私たちの手法の中核は、ディープニューラルネットワーク内での領域ベースの部分発見と帰属の統合です。
本研究は,分類タスクの最先端手法と比較した。
論文 参考訳（メタデータ） (2020-05-21T01:18:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。