論文の概要: Towards Complementary Knowledge Distillation for Efficient Dense Image Prediction

• arxiv url: http://arxiv.org/abs/2401.13174v3
• Date: Thu, 27 Mar 2025 01:07:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 14:27:25.356131
• Title: Towards Complementary Knowledge Distillation for Efficient Dense Image Prediction
• Title（参考訳）: 効率的な高密度画像予測のための補完的知識蒸留に向けて
• Authors: Dong Zhang, Pingcheng Dong, Long Chen, Kwang-Ting Cheng,
• Abstract要約: 知識蒸留(KD)フレームワークを用いて訓練した小型高効率高密度画像予測(EDIP)モデルは,2つの課題に直面することが明らかとなった。 EDIPのKDフレームワーク内で, 相補的境界とコンテキスト蒸留(BCD)法を提案する。 我々の手法は、余分な監督や推論コストの増大を必要とせず、既存の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 30.975580866705783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been revealed that small efficient dense image prediction (EDIP) models, trained using the knowledge distillation (KD) framework, encounter two key challenges, including maintaining boundary region completeness and preserving target region connectivity, despite their favorable capacity to recognize main object regions. In this work, we propose a complementary boundary and context distillation (BCD) method within the KD framework for EDIPs, which facilitates the targeted knowledge transfer from large accurate teacher models to compact efficient student models. Specifically, the boundary distillation component focuses on extracting explicit object-level semantic boundaries from the hierarchical feature maps of the backbone network to enhance the student model's mask quality in boundary regions. Concurrently, the context distillation component leverages self-relations as a bridge to transfer implicit pixel-level contexts from the teacher model to the student model, ensuring strong connectivity in target regions. Our proposed BCD method is specifically designed for EDIP tasks and is characterized by its simplicity and efficiency. Extensive experimental results across semantic segmentation, object detection, and instance segmentation on various representative datasets demonstrate that our method can outperform existing methods without requiring extra supervisions or incurring increased inference costs, resulting in well-defined object boundaries and smooth connecting regions.
• Abstract（参考訳）: 知識蒸留(KD)フレームワークを用いて訓練した小型高密度画像予測(EDIP)モデルでは,主対象領域の認識能力が良好であるにもかかわらず,境界領域の完全性維持や目標領域の接続性維持など,2つの重要な課題に直面していることが明らかになった。 本研究では,EDIPのKDフレームワークにおいて,大規模教師モデルからコンパクトな生徒モデルへの目標知識の伝達を容易にする補完的境界・文脈蒸留(BCD)手法を提案する。 具体的には,バックボーンネットワークの階層的特徴マップから明確なオブジェクトレベルのセマンティック境界を抽出して,境界領域における生徒モデルのマスク品質を高めることに焦点を当てた。 同時に、コンテキスト蒸留コンポーネントは、教師モデルから学生モデルに暗黙のピクセルレベルのコンテキストを転送するブリッジとして自己関係を活用し、ターゲット領域における強い接続性を確保する。 提案手法はEDIPタスクに特化して設計されており,その単純さと効率性が特徴である。 セマンティックセグメンテーション,オブジェクト検出,インスタンスセグメンテーションにまたがる広範囲な実験結果から,我々の手法は,余分な監督や推論コストの増大を伴わずに既存の手法よりも優れており,適切に定義されたオブジェクト境界とスムーズな接続領域が得られることが示された。

関連論文リスト

• BoundMatch: Boundary detection applied to semi-supervised segmentation for urban-driving scenes [6.236890292833387]
  半教師付きセマンティックセマンティックセグメンテーション(SS-SS)は、高密度ピクセルラベリングの重いアノテーション負担を軽減することを目的としている。 セマンティック境界検出を一貫性正規化パイプラインに統合する,新しいマルチタスクSS-SSフレームワークであるBoundMatchを提案する。 我々の中核的なメカニズムである境界一貫性規則化マルチタスク学習は、教師と生徒のモデル間の予測合意を強制する。
  論文  参考訳（メタデータ） (2025-03-30T17:02:26Z)
• A Deep Learning Framework for Boundary-Aware Semantic Segmentation [9.680285420002516]
  本研究では境界拡張機能ブリッジングモジュール(BEFBM)を用いたMask2Formerに基づくセマンティックセマンティックセマンティクスアルゴリズムを提案する。 提案手法は,mIOU,mDICE,mRecallなどのメトリクスを大幅に改善する。 ビジュアル分析は、きめ細かい領域におけるモデルの利点を裏付ける。
  論文  参考訳（メタデータ） (2025-03-28T00:00:08Z)
• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• Attention-guided Feature Distillation for Semantic Segmentation [8.344263189293578]
  本稿では,改良された特徴写像を用いて注目を伝達するための簡易かつ強力な手法の有効性を示す。 CBAM(Convolutional Block Attention Module)を用いたAttnFD(AttnFD)法の提案 これはPascalVoc 2012、Cityscapes、COCO、CamVidデータセット上の学生ネットワークの平均的相互接続(mIoU)を改善するという観点から、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-03-08T16:57:47Z)
• Optimization Efficient Open-World Visual Region Recognition [55.76437190434433]
  RegionSpotは、ローカライゼーション基盤モデルから位置認識ローカライゼーション知識と、ViLモデルからのセマンティック情報を統合する。 オープンワールドオブジェクト認識の実験では、私たちのRereaSpotは、以前の代替よりも大きなパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-11-02T16:31:49Z)
• Background Activation Suppression for Weakly Supervised Object Localization and Semantic Segmentation [84.62067728093358]
  弱教師付きオブジェクトローカライゼーションとセマンティックセグメンテーションは、画像レベルのラベルのみを使用してオブジェクトをローカライズすることを目的としている。 画素レベルのローカライゼーションを実現するために,フォアグラウンド予測マップを生成することで,新たなパラダイムが誕生した。 本稿では,物体の局在化学習過程に関する2つの驚くべき実験結果を示す。
  論文  参考訳（メタデータ） (2023-09-22T15:44:10Z)
• X-PDNet: Accurate Joint Plane Instance Segmentation and Monocular Depth Estimation with Cross-Task Distillation and Boundary Correction [9.215384107659665]
  X-PDNetは平面インスタンス分割と深さ推定のマルチタスク学習のためのフレームワークである。 我々は、境界回帰損失を増大させるために、基底真理境界を用いることの現在の限界を強調した。 境界領域分割を支援するために深度情報を利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T14:27:54Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• BPKD: Boundary Privileged Knowledge Distillation For Semantic Segmentation [20.450568708073767]
  本稿では,セマンティックセグメンテーションのための境界優先型知識蒸留(BPKD)を提案する。 BPKDは、教師モデルの体とエッジの知識を、コンパクトな学生モデルと別々に蒸留する。 BPKD法は, エッジ領域とボディ領域を広範囲に改良し, 集約する手法であることを示す。
  論文  参考訳（メタデータ） (2023-06-13T18:45:32Z)
• Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation for Scene Recognition [64.29650787243443]
  本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。 この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。 我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
  論文  参考訳（メタデータ） (2022-05-04T11:05:18Z)
• Point-Level Region Contrast for Object Detection Pre-Training [147.47349344401806]
  本稿では,物体検出作業のための自己教師付き事前学習手法である点レベル領域コントラストを提案する。 提案手法は,異なる領域から個々の点対を直接抽出することにより,コントラスト学習を行う。 領域ごとの集約表現と比較すると,入力領域の品質の変化に対して,我々のアプローチはより堅牢である。
  論文  参考訳（メタデータ） (2022-02-09T18:56:41Z)
• Contrastive Neighborhood Alignment [81.65103777329874]
  本稿では,学習特徴のトポロジを維持するための多様体学習手法であるContrastive Neighborhood Alignment(CNA)を提案する。 対象モデルは、対照的な損失を用いて、ソース表現空間の局所構造を模倣することを目的としている。 CNAは3つのシナリオで説明される: 多様体学習、モデルが元のデータの局所的なトポロジーを次元還元された空間で維持する、モデル蒸留、小さな学生モデルがより大きな教師を模倣するために訓練される、レガシーモデル更新、より強力なモデルに置き換えられる、という3つのシナリオである。
  論文  参考訳（メタデータ） (2022-01-06T04:58:31Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Boundary Guided Context Aggregation for Semantic Segmentation [23.709865471981313]
  我々は、画像の全体的意味理解を促進するために、コンテキストアグリゲーションのための重要なガイダンスとして境界を利用する。 我々はCityscapesとADE20Kデータベースに関する広範な実験を行い、最先端の手法で同等の結果を得る。
  論文  参考訳（メタデータ） (2021-10-27T17:04:38Z)
• Look Closer to Segment Better: Boundary Patch Refinement for Instance Segmentation [51.59290734837372]
  境界品質を改善するために,概念的にシンプルで効果的な後処理改善フレームワークを提案する。 提案されたBPRフレームワークは、CityscapesベンチマークのMask R-CNNベースラインを大幅に改善する。 BPRフレームワークをPolyTransform + SegFixベースラインに適用することで、Cityscapesのリーダーボードで1位に到達しました。
  論文  参考訳（メタデータ） (2021-04-12T07:10:48Z)
• Think about boundary: Fusing multi-level boundary information for landmark heatmap regression [51.48533538153833]
  顔の境界とランドマークの関係を探索するための2段階のエンドツーエンドアプローチについて検討する。 境界対応ランドマーク予測は,自己校正境界推定(SCBE)モジュールと境界対応ランドマーク変換(BALT)モジュールの2つのモジュールで構成される。 我々の手法は文学における最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-08-25T10:14:13Z)
• Deep Complementary Joint Model for Complex Scene Registration and Few-shot Segmentation on Medical Images [15.958078577731815]
  本稿では,複雑なシーン登録と少数ショットセグメンテーションのための新しいDeep Complementary Joint Model (DeepRS)を提案する。 登録に摂動係数を埋め込んで変形の活性を増大させ、増大データの多様性を維持する。 セグメンテーションモデルからの出力は、ディープベース領域制約を実装するために利用され、ラベル要求を緩和し、詳細な登録をもたらす。
  論文  参考訳（メタデータ） (2020-08-03T08:25:59Z)
• Inter-Region Affinity Distillation for Road Marking Segmentation [81.3619453527367]
  本研究では,大規模な教員ネットワークからより小さな学生ネットワークへ知識を蒸留する問題について検討する。 我々の手法はInter-Region Affinity KD(IntRA-KD)として知られている。
  論文  参考訳（メタデータ） (2020-04-11T04:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。