論文の概要: Beyond Classification: Knowledge Distillation using Multi-Object Impressions

• arxiv url: http://arxiv.org/abs/2110.14215v1
• Date: Wed, 27 Oct 2021 06:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 12:28:05.831344
• Title: Beyond Classification: Knowledge Distillation using Multi-Object Impressions
• Title（参考訳）: beyond classification:マルチオブジェクトインプレッションを用いた知識蒸留
• Authors: Gaurav Kumar Nayak, Monish Keswani, Sharan Seshadri, Anirban Chakraborty
• Abstract要約: 知識蒸留(KD)は、複雑なネットワーク(Teacher)からより小さなネットワーク(Student)へ知識を伝達するために、訓練データを転送セットとして利用する。 いくつかの研究は、データプライバシや感度に関する懸念から、トレーニングデータが利用できない多くのシナリオを特定している。 トレーニングデータとその統計に関する知識がゼロのオブジェクト検出のためのKD」という、はるかに難しい問題を初めて解決しました。
• 参考スコア（独自算出の注目度）: 17.214664783818687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Distillation (KD) utilizes training data as a transfer set to transfer knowledge from a complex network (Teacher) to a smaller network (Student). Several works have recently identified many scenarios where the training data may not be available due to data privacy or sensitivity concerns and have proposed solutions under this restrictive constraint for the classification task. Unlike existing works, we, for the first time, solve a much more challenging problem, i.e., "KD for object detection with zero knowledge about the training data and its statistics". Our proposed approach prepares pseudo-targets and synthesizes corresponding samples (termed as "Multi-Object Impressions"), using only the pretrained Faster RCNN Teacher network. We use this pseudo-dataset as a transfer set to conduct zero-shot KD for object detection. We demonstrate the efficacy of our proposed method through several ablations and extensive experiments on benchmark datasets like KITTI, Pascal and COCO. Our approach with no training samples, achieves a respectable mAP of 64.2% and 55.5% on the student with same and half capacity while performing distillation from a Resnet-18 Teacher of 73.3% mAP on KITTI.
• Abstract（参考訳）: 知識蒸留(kd)は、訓練データを複雑なネットワーク(教師)からより小さなネットワーク(学生)へ知識を転送するための転送セットとして利用する。 いくつかの研究は、データプライバシや感度に関する懸念のためにトレーニングデータが利用できない多くのシナリオを特定し、分類タスクのこの制限された制約の下でソリューションを提案している。 既存の研究とは違って、我々は「トレーニングデータとその統計に関する知識がゼロのオブジェクト検出のためのKD」という、はるかに難しい問題を初めて解決した。 提案手法では,事前学習されたrcnn教師ネットワークのみを用いて,疑似ターゲットを作成し,対応するサンプル(マルチオブジェクトインプレッション)を合成する。 この擬似データセットを転送セットとして使用し,オブジェクト検出のためのゼロショットkdを行う。 提案手法の有効性を,KITTI,Pascal,COCOなどのベンチマークデータセットを用いて検証し,実験を行った。 トレーニングサンプルを伴わない手法では,64.2%,55.5%の留学生に対して,KITTIで73.3%mAPのResnet-18教師から蒸留を行った。

関連論文リスト

• Dataset Distillation via Knowledge Distillation: Towards Efficient Self-Supervised Pre-Training of Deep Networks [10.932880269282014]
  SSL事前トレーニングのための最初の有効なDD法を提案する。 具体的には、SSLでトレーニングされたより大きな教師モデルの表現に合わせるために、小さな学生モデルを訓練する。 KDの目的はSSLよりもかなり分散度が低いため、我々の手法は、高品質エンコーダの事前訓練に成功できる合成データセットを生成することができる。
  論文  参考訳（メタデータ） (2024-10-03T00:39:25Z)
• Distribution Shift Matters for Knowledge Distillation with Webly Collected Images [91.66661969598755]
  異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。 まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。 また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
  論文  参考訳（メタデータ） (2023-07-21T10:08:58Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Dual Discriminator Adversarial Distillation for Data-free Model Compression [36.49964835173507]
  我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。 具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。 提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
  論文  参考訳（メタデータ） (2021-04-12T12:01:45Z)
• Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis [8.87104231451079]
  知識蒸留(KD)は、ディープニューラルネットワーク圧縮に有効なアプローチであることが証明されている。 従来のkdでは、転送された知識は通常、トレーニングサンプルを教師ネットワークに供給することで得られる。 元のトレーニングデータセットは、ストレージコストやプライバシーの問題のために常に利用できるとは限らない。 本研究では,教師の中間特徴空間をモデル化し,データフリーなKD手法を提案する。
  論文  参考訳（メタデータ） (2021-04-10T22:42:14Z)
• OvA-INN: Continual Learning with Invertible Neural Networks [0.0]
  OvA-INNは、一度に1つのクラスを学習でき、以前のデータを格納しない。 特徴抽出器上にInvertible Networkを積み重ねることで,事前学習モデルの活用が可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-24T14:40:05Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。