論文の概要: Direct Distillation between Different Domains

• arxiv url: http://arxiv.org/abs/2401.06826v1
• Date: Fri, 12 Jan 2024 02:48:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 21:21:07.676668
• Title: Direct Distillation between Different Domains
• Title（参考訳）: 異なるドメイン間の直接蒸留
• Authors: Jialiang Tang, Shuo Chen, Gang Niu, Hongyuan Zhu, Joey Tianyi Zhou, Chen Gong, Masashi Sugiyama
• Abstract要約: 異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。 まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。 次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
• 参考スコア（独自算出の注目度）: 97.39470334253163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Distillation (KD) aims to learn a compact student network using knowledge from a large pre-trained teacher network, where both networks are trained on data from the same distribution. However, in practical applications, the student network may be required to perform in a new scenario (i.e., the target domain), which usually exhibits significant differences from the known scenario of the teacher network (i.e., the source domain). The traditional domain adaptation techniques can be integrated with KD in a two-stage process to bridge the domain gap, but the ultimate reliability of two-stage approaches tends to be limited due to the high computational consumption and the additional errors accumulated from both stages. To solve this problem, we propose a new one-stage method dubbed ``Direct Distillation between Different Domains" (4Ds). We first design a learnable adapter based on the Fourier transform to separate the domain-invariant knowledge from the domain-specific knowledge. Then, we build a fusion-activation mechanism to transfer the valuable domain-invariant knowledge to the student network, while simultaneously encouraging the adapter within the teacher network to learn the domain-specific knowledge of the target data. As a result, the teacher network can effectively transfer categorical knowledge that aligns with the target domain of the student network. Intensive experiments on various benchmark datasets demonstrate that our proposed 4Ds method successfully produces reliable student networks and outperforms state-of-the-art approaches.
• Abstract（参考訳）: KD(Knowledge Distillation)は、教師ネットワークから知識を用いて、学生ネットワークを学習することを目的としており、両方のネットワークが同じ分布からデータに基づいて訓練されている。 しかし、実際のアプリケーションでは、生徒ネットワークは新しいシナリオ(すなわちターゲットドメイン)で実行する必要がある場合があり、これは通常、教師ネットワーク(すなわちソースドメイン)の既知のシナリオと大きく異なる。 従来のドメイン適応手法は、ドメインギャップを埋めるために2段階のプロセスでkdと統合できるが、2段階のアプローチの究極の信頼性は、高い計算消費と両方の段階から蓄積された追加のエラーのために制限される傾向がある。 この問題を解決するために,「異なる領域間直接蒸留」(4ds)と呼ばれる新しい一段階法を提案する。 まず,フーリエ変換に基づく学習可能なアダプタを設計し,ドメイン不変知識とドメイン固有知識を分離する。 そこで我々は,学生ネットワークに価値あるドメイン不変知識を伝達する融合活性化機構を構築し,同時に教師ネットワーク内のアダプタに,対象データのドメイン固有知識を学習するよう促す。 その結果、教師ネットワークは、学生ネットワークのターゲットドメインと整合したカテゴリ知識を効果的に転送することができる。 各種ベンチマークデータセットの集中的な実験により,提案手法は信頼性の高い学生ネットワークを生成でき,最先端のアプローチよりも優れていることが示された。

関連論文リスト

• D3T: Distinctive Dual-Domain Teacher Zigzagging Across RGB-Thermal Gap for Domain-Adaptive Object Detection [15.071470389431672]
  オブジェクト検出のためのドメイン適応は、通常、ある可視領域から別の可視領域への知識の転送を必要とする。 本稿では,ドメイン毎に異なるトレーニングパラダイムを用いるD3T(Distinctive Dual-Domain Teacher)フレームワークを提案する。 提案手法は、よく知られた熱データセットを用いた新しい実験プロトコルを用いて検証する。
  論文  参考訳（メタデータ） (2024-03-14T13:05:43Z)
• Unsupervised Domain Adaptation on Person Re-Identification via Dual-level Asymmetric Mutual Learning [108.86940401125649]
  本稿では,多種多様な埋め込み空間を持つより広い知識領域から識別的表現を学習するための,DAML(Dual-level Asymmetric Mutual Learning)を提案する。 2つのネットワーク間の知識伝達は、非対称な相互学習方式に基づいている。 Market-1501、CUHK-SYSU、MSMT17の公開データセットにおける実験は、最先端技術よりもDAMLの方が優れていることを証明した。
  論文  参考訳（メタデータ） (2023-01-29T12:36:17Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Robust Ensembling Network for Unsupervised Domain Adaptation [20.152004296679138]
  教師なしドメイン適応(UDA)のためのRobust Ensembling Network(REN)を提案する。 RENは主に教師ネットワークと学生ネットワークを含み、標準的なドメイン適応トレーニングを実行し、教師ネットワークの重みを更新する。 学生ネットワークの基本能力を向上させるために,学生ネットワークと教師ネットワークの誤りのバランスをとるために,一貫性制約を利用する。
  論文  参考訳（メタデータ） (2021-08-21T09:19:13Z)
• Network-Agnostic Knowledge Transfer for Medical Image Segmentation [2.25146058725705]
  教師から学生ネットワークへのナレッジトランスファーアプローチを提案し、学生を独立したトランスファーデータセットでトレーニングします。 一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。 提案アルゴリズムは知識伝達に有効であり、容易に調整できる。
  論文  参考訳（メタデータ） (2021-01-23T19:06:14Z)
• Dual-Teacher++: Exploiting Intra-domain and Inter-domain Knowledge with Reliable Transfer for Cardiac Segmentation [69.09432302497116]
  最先端の半教師付きドメイン適応フレームワークである Dual-Teacher++ を提案する。 ソースドメイン(MRなど)からのクロスモダリティ優先度を探索するドメイン間教師モデルと、ラベルのないターゲットドメインの知識を調査するドメイン内教師モデルを含む、新しいデュアル教師モデルを設計する。 このようにして、学生モデルは信頼できる二重ドメイン知識を得て、ターゲットドメインデータのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2021-01-07T05:17:38Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• Domain Adaption for Knowledge Tracing [65.86619804954283]
  本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。 まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。 第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
  論文  参考訳（メタデータ） (2020-01-14T15:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。