論文の概要: Data-Free Knowledge Transfer: A Survey

• arxiv url: http://arxiv.org/abs/2112.15278v1
• Date: Fri, 31 Dec 2021 03:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-03 13:58:53.546806
• Title: Data-Free Knowledge Transfer: A Survey
• Title（参考訳）: データフリーな知識伝達: 調査
• Authors: Yuang Liu, Wei Zhang, Jun Wang, Jianyong Wang
• Abstract要約: 知識蒸留(KD)とドメイン適応(DA)が提案され,研究のハイライトとなっている。 どちらも、元のトレーニングデータを持つ十分に訓練されたモデルから有用な情報を転送することを目的としている。 近年,データフリーな知識伝達パラダイムが注目されている。
• 参考スコア（独自算出の注目度）: 13.335198869928167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the last decade, many deep learning models have been well trained and made a great success in various fields of machine intelligence, especially for computer vision and natural language processing. To better leverage the potential of these well-trained models in intra-domain or cross-domain transfer learning situations, knowledge distillation (KD) and domain adaptation (DA) are proposed and become research highlights. They both aim to transfer useful information from a well-trained model with original training data. However, the original data is not always available in many cases due to privacy, copyright or confidentiality. Recently, the data-free knowledge transfer paradigm has attracted appealing attention as it deals with distilling valuable knowledge from well-trained models without requiring to access to the training data. In particular, it mainly consists of the data-free knowledge distillation (DFKD) and source data-free domain adaptation (SFDA). On the one hand, DFKD aims to transfer the intra-domain knowledge of original data from a cumbersome teacher network to a compact student network for model compression and efficient inference. On the other hand, the goal of SFDA is to reuse the cross-domain knowledge stored in a well-trained source model and adapt it to a target domain. In this paper, we provide a comprehensive survey on data-free knowledge transfer from the perspectives of knowledge distillation and unsupervised domain adaptation, to help readers have a better understanding of the current research status and ideas. Applications and challenges of the two areas are briefly reviewed, respectively. Furthermore, we provide some insights to the subject of future research.
• Abstract（参考訳）: 過去10年間、多くのディープラーニングモデルが十分に訓練され、さまざまな機械学習分野、特にコンピュータビジョンと自然言語処理で大きな成功を収めてきた。 ドメイン内あるいはドメイン間移動学習におけるこれらのよく訓練されたモデルの有用性をよりよく活用するために、知識蒸留(KD)とドメイン適応(DA)を提案し、研究のハイライトとなる。 どちらも、トレーニングデータを使ってトレーニングされたモデルから有用な情報を転送することを目的としている。 しかし、プライバシや著作権、機密性のため、オリジナルのデータは必ずしも利用できないことが多い。 近年,訓練データへのアクセスを必要とせずに,訓練済みモデルから貴重な知識を蒸留する手法として,データフリーな知識伝達パラダイムが注目されている。 特に、主にデータフリー知識蒸留(DFKD)とソースデータフリードメイン適応(SFDA)で構成されている。 一方,DFKDは,教師ネットワークからモデル圧縮と効率的な推論のためのコンパクトな学生ネットワークへ,原データのドメイン内知識を伝達することを目的としている。 一方、sfdaの目標は、十分に訓練されたソースモデルに格納されたクロスドメインの知識を再利用し、ターゲットドメインに適応させることである。 本稿では,知識蒸留と非教師なしドメイン適応の観点から,データフリーな知識伝達に関する総合的な調査を行い,現在の研究状況とアイデアをより深く理解できるようにする。 2つの分野の応用と課題は、それぞれ簡単にレビューされる。 さらに,今後の研究課題についても考察する。

関連論文リスト

• Adapting to Distribution Shift by Visual Domain Prompt Generation [34.19066857066073]
  いくつかのラベルのないデータを使って、テスト時にモデルを適応し、分散シフトに対処する。 ソースドメインから移行可能な知識を学ぶための知識銀行を構築します。 提案手法は,WILDSやDomainNetを含む5つの大規模ベンチマークにおいて,従来よりも優れている。
  論文  参考訳（メタデータ） (2024-05-05T02:44:04Z)
• AuG-KD: Anchor-Based Mixup Generation for Out-of-Domain Knowledge Distillation [33.208860361882095]
  データフリー知識蒸留法(DFKD)が直接解法として登場した。 しかし、DFKDから派生したモデルを現実のアプリケーションに適用するだけで、性能が著しく低下する。 本研究では,教師の適切な知識を選択的に伝達する簡易かつ効果的なAuG-KDを提案する。
  論文  参考訳（メタデータ） (2024-03-11T03:34:14Z)
• Direct Distillation between Different Domains [97.39470334253163]
  異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。 まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。 次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
  論文  参考訳（メタデータ） (2024-01-12T02:48:51Z)
• Bridged-GNN: Knowledge Bridge Learning for Effective Knowledge Transfer [65.42096702428347]
  グラフニューラルネットワーク(GNN)は、隣接するノードから情報を集約する。 知識ブリッジ学習(KBL)は、対象ドメインに対する知識強化後部分布を学習する。 Bridged-GNNには、Bridged-Graphを構築するためのAdaptive Knowledge Retrievalモジュールと、Graph Knowledge Transferモジュールが含まれている。
  論文  参考訳（メタデータ） (2023-08-18T12:14:51Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• A Concise Review of Transfer Learning [1.5771347525430772]
  転送学習は、他の関連するソースデータを適用することで、ターゲット学習者のパフォーマンスを高めることを目的としている。 従来の機械学習とデータマイニングのテクニックは、トレーニングとテストのデータは同じ特徴空間と分布から来ていると仮定する。
  論文  参考訳（メタデータ） (2021-04-05T20:34:55Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Dual-Teacher: Integrating Intra-domain and Inter-domain Teachers for Annotation-efficient Cardiac Segmentation [65.81546955181781]
  本稿では,新しい半教師付きドメイン適応手法,すなわちDual-Teacherを提案する。 学生モデルは、2つの教師モデルによってラベル付けされていない対象データとラベル付けされた情報源データの知識を学習する。 提案手法では, ラベルなしデータとモダリティ間データとを並列に利用でき, 性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-13T10:00:44Z)
• On the application of transfer learning in prognostics and health management [0.0]
  データ可用性は、研究者や業界の実践者がデータベースの機械学習に頼ることを奨励している。 ディープラーニング、障害診断と診断のためのモデル。 これらのモデルにはユニークな利点がありますが、そのパフォーマンスはトレーニングデータと、そのデータがテストデータをどのように表現しているかに大きく依存しています。 トランスファーラーニング(Transfer Learning)は、前回のトレーニングから学んだことの一部を新しいアプリケーションに転送することで、この問題を改善できるアプローチである。
  論文  参考訳（メタデータ） (2020-07-03T23:35:18Z)
• Domain Adaption for Knowledge Tracing [65.86619804954283]
  本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。 まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。 第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
  論文  参考訳（メタデータ） (2020-01-14T15:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。