論文の概要: FAKD: Feature Augmented Knowledge Distillation for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2208.14143v1
• Date: Tue, 30 Aug 2022 10:55:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-31 13:08:43.366302
• Title: FAKD: Feature Augmented Knowledge Distillation for Semantic Segmentation
• Title（参考訳）: FAKD:セマンティックセグメンテーションのための機能拡張知識蒸留
• Authors: Jianlong Yuan, Qian Qi, Fei Du, Zhibin Wang, Fan Wang, Yifan Liu
• Abstract要約: セグメンテーションにおける知識蒸留のためのデータ拡張について検討する。 特徴空間における意味的方向の最近の進歩に触発されて, 効率的な蒸留のために, 特徴空間に拡張を加えることを提案する。
• 参考スコア（独自算出の注目度）: 17.294737459735675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we explore data augmentations for knowledge distillation on semantic segmentation. To avoid over-fitting to the noise in the teacher network, a large number of training examples is essential for knowledge distillation. Imagelevel argumentation techniques like flipping, translation or rotation are widely used in previous knowledge distillation framework. Inspired by the recent progress on semantic directions on feature-space, we propose to include augmentations in feature space for efficient distillation. Specifically, given a semantic direction, an infinite number of augmentations can be obtained for the student in the feature space. Furthermore, the analysis shows that those augmentations can be optimized simultaneously by minimizing an upper bound for the losses defined by augmentations. Based on the observation, a new algorithm is developed for knowledge distillation in semantic segmentation. Extensive experiments on four semantic segmentation benchmarks demonstrate that the proposed method can boost the performance of current knowledge distillation methods without any significant overhead. Code is available at: https://github.com/jianlong-yuan/FAKD.
• Abstract（参考訳）: 本研究では,意味セグメンテーションに関する知識蒸留のためのデータ拡張について検討する。 教師ネットワークにおける騒音への過度な適応を避けるため,知識蒸留には多くの訓練例が不可欠である。 回転、翻訳、回転といった画像レベルの議論技術は、以前の知識蒸留フレームワークで広く使われている。 特徴空間における意味的方向の最近の進歩に触発されて,効率的な蒸留のために特徴空間に拡張を加えることを提案する。 具体的には、意味的な方向が与えられた場合、特徴空間の学生に対して無限の増大が得られる。 さらに,解析結果から,増補によって定義される損失に対する上限を最小化することで,これらの増補を同時に最適化できることを示した。 この観察に基づいて, 意味セグメンテーションにおける知識蒸留のための新しいアルゴリズムを開発した。 4つのセマンティクスセグメンテーションベンチマークに関する広範囲な実験により、提案手法が大きなオーバーヘッドを伴わずに現在の知識蒸留法の性能を向上できることが示されている。 コードはhttps://github.com/jianlong-yuan/fakd。

関連論文リスト

• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Multi-to-Single Knowledge Distillation for Point Cloud Semantic Segmentation [41.02741249858771]
  本稿では,3Dポイントクラウドセマンティックセマンティックセグメンテーションタスクのための多種間知識蒸留フレームワークを提案する。 マルチスキャンのすべてのポイントを直接フューズする代わりに、以前に定義されたハードクラスに属するインスタンスだけが融合する。
  論文  参考訳（メタデータ） (2023-04-28T12:17:08Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Normalized Feature Distillation for Semantic Segmentation [6.882655287146012]
  正規化特徴蒸留(NFD)と呼ばれる簡易かつ効果的な特徴蒸留法を提案する。 提案手法は,都市景観,VOC 2012,ADE20Kデータセットのセマンティックセマンティックセマンティックセグメンテーションのための,最先端の蒸留結果を実現する。
  論文  参考訳（メタデータ） (2022-07-12T01:54:25Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• Energy-based Latent Aligner for Incremental Learning [83.0135278697976]
  ディープラーニングモデルは、新しいタスクを漸進的に学習しながら、以前の知識を忘れる傾向があります。 この振る舞いは、新しいタスクに最適化されたパラメータ更新が、古いタスクに適したアップデートとうまく一致しない可能性があるため現れます。 ELI: インクリメンタルラーニングのためのエネルギーベースラテントアリグナーを提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:57:25Z)
• Uncertainty-aware Contrastive Distillation for Incremental Semantic Segmentation [46.14545656625703]
  破滅的な忘れ物とは、ニューラルネットワークが、新しいタスクを学ぶときに、古いタスクから得た知識を保存できない傾向があることです。 我々は新しい蒸留フレームワークである不確かさを意識したコントラスト蒸留法(メソッド)を提案する。 本研究は, 従来のIL法と相乗効果を持つ蒸留法の利点を実証するものである。
  論文  参考訳（メタデータ） (2022-03-26T15:32:12Z)
• A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation [74.8791451327354]
  セマンティックセグメンテーションのためのシンプルで効果的な半教師付き学習フレームワークを提案する。 単純な設計とトレーニングのテクニックのセットは、半教師付きセマンティックセグメンテーションの性能を大幅に向上させることができる。 本手法は,Cityscapes と Pascal VOC データセットの半教師付き設定において,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-04-15T06:01:39Z)
• Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation [12.097302014936655]
  本論文では,FRSKD (Self-Knowledge Distillation) による自己知識蒸留法を提案する。 提案手法であるFRSKDは,ソフトラベルと特徴マップ蒸留の両方を自己知識蒸留に利用できる。 様々なタスクとベンチマークデータセットのパフォーマンス改善を列挙することで、frskdの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-15T10:59:43Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。