論文の概要: Data-free Knowledge Distillation for Segmentation using Data-Enriching GAN

• arxiv url: http://arxiv.org/abs/2011.00809v1
• Date: Mon, 2 Nov 2020 08:16:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 12:51:35.171225
• Title: Data-free Knowledge Distillation for Segmentation using Data-Enriching GAN
• Title（参考訳）: データ富化GANを用いたセグメンテーションのためのデータフリー知識蒸留
• Authors: Kaushal Bhogale
• Abstract要約: データフリー環境で知識蒸留を行うための新しいトレーニングフレームワークを提案する。 これまでのアプローチよりも6.93%改善しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distilling knowledge from huge pre-trained networks to improve the performance of tiny networks has favored deep learning models to be used in many real-time and mobile applications. Several approaches that demonstrate success in this field have made use of the true training dataset to extract relevant knowledge. In absence of the True dataset, however, extracting knowledge from deep networks is still a challenge. Recent works on data-free knowledge distillation demonstrate such techniques on classification tasks. To this end, we explore the task of data-free knowledge distillation for segmentation tasks. First, we identify several challenges specific to segmentation. We make use of the DeGAN training framework to propose a novel loss function for enforcing diversity in a setting where a few classes are underrepresented. Further, we explore a new training framework for performing knowledge distillation in a data-free setting. We get an improvement of 6.93% in Mean IoU over previous approaches.
• Abstract（参考訳）: 巨大な事前学習ネットワークからの知識を蒸留して、小さなネットワークの性能を向上させることで、多くのリアルタイムおよびモバイルアプリケーションで使用されるディープラーニングモデルが好まれている。 この分野での成功を示すいくつかのアプローチでは、真のトレーニングデータセットを使用して関連する知識を抽出している。 しかし、Trueデータセットがなければ、ディープネットワークから知識を抽出することは依然として困難である。 データフリー知識蒸留に関する最近の研究は、分類タスクにおいてそのようなテクニックを実証している。 この目的のために,セグメンテーションタスクのためのデータフリーな知識蒸留の課題について検討する。 まず、セグメンテーションに特有のいくつかの課題を特定する。 我々は,degan training frameworkを用いて,少数のクラスが過小評価されている環境で多様性を強制する新しい損失関数を提案する。 さらに,データフリー環境で知識蒸留を行うための新たなトレーニングフレームワークについても検討する。 これまでのアプローチよりも6.93%改善しています。

関連論文リスト

• Behaviour Distillation [10.437472004180883]
  我々は、専門家ポリシーのトレーニングに必要な情報を合成データセットに発見・凝縮することを目的とした行動蒸留を定式化する。 次に,Halucinating datasets with Evolution Strategies (HaDES)を紹介した。 これらのデータセットは分散から多種多様なアーキテクチャでトレーニングポリシーへと一般化されていることを示す。 また、下流タスク、すなわちゼロショット方式でマルチタスクエージェントを訓練するアプリケーションの実演を行う。
  論文  参考訳（メタデータ） (2024-06-21T10:45:43Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Distribution Shift Matters for Knowledge Distillation with Webly Collected Images [91.66661969598755]
  異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。 まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。 また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
  論文  参考訳（メタデータ） (2023-07-21T10:08:58Z)
• A Survey of Label-Efficient Deep Learning for 3D Point Clouds [109.07889215814589]
  本稿では,点雲のラベル効率学習に関する包括的調査を行う。 本稿では,ラベルの種類によって提供されるデータ前提条件に基づいて,ラベル効率のよい学習手法を整理する分類法を提案する。 それぞれのアプローチについて、問題設定の概要と、関連する進展と課題を示す広範な文献レビューを提供する。
  論文  参考訳（メタデータ） (2023-05-31T12:54:51Z)
• Learning to Retain while Acquiring: Combating Distribution-Shift in Adversarial Data-Free Knowledge Distillation [31.294947552032088]
  データフリーな知識蒸留(DFKD)は、教師から学生ニューラルネットワークへの知識伝達を、訓練データがない状態で行うという基本的な考え方により、近年人気を集めている。 本稿では,メタトレインとメタテストとして,知識獲得(新たに生成されたサンプルからの学習)と知識保持(以前に得られたサンプルの知識の保持)の課題を取り扱うことで,メタ学習にインスパイアされたフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-28T03:50:56Z)
• Learning with Recoverable Forgetting [77.56338597012927]
  学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。 具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。 いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-17T16:42:31Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)
• Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation [12.097302014936655]
  本論文では,FRSKD (Self-Knowledge Distillation) による自己知識蒸留法を提案する。 提案手法であるFRSKDは,ソフトラベルと特徴マップ蒸留の両方を自己知識蒸留に利用できる。 様々なタスクとベンチマークデータセットのパフォーマンス改善を列挙することで、frskdの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-15T10:59:43Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。