論文の概要: Distilling Universal and Joint Knowledge for Cross-Domain Model
Compression on Time Series Data
- arxiv url: http://arxiv.org/abs/2307.03347v1
- Date: Fri, 7 Jul 2023 01:48:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-10 13:37:27.812924
- Title: Distilling Universal and Joint Knowledge for Cross-Domain Model
Compression on Time Series Data
- Title(参考訳): 時系列データを用いたクロスドメインモデル圧縮のためのユニバーサルおよびジョイント知識の蒸留
- Authors: Qing Xu, Min Wu, Xiaoli Li, Kezhi Mao, Zhenghua Chen
- Abstract要約: ドメイン間モデル圧縮のためのUniversal and joint knowledge distillation (UNI-KD) と呼ばれる新しいエンドツーエンドフレームワークを提案する。
特に、ソースドメインとターゲットドメインにまたがる普遍的特徴レベル知識と、教師から生徒モデルに共通する共同ロジットレベル知識の両方を、逆学習方式で転送することを提案する。
- 参考スコア(独自算出の注目度): 18.41222232863567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For many real-world time series tasks, the computational complexity of
prevalent deep leaning models often hinders the deployment on resource-limited
environments (e.g., smartphones). Moreover, due to the inevitable domain shift
between model training (source) and deploying (target) stages, compressing
those deep models under cross-domain scenarios becomes more challenging.
Although some of existing works have already explored cross-domain knowledge
distillation for model compression, they are either biased to source data or
heavily tangled between source and target data. To this end, we design a novel
end-to-end framework called Universal and joint knowledge distillation (UNI-KD)
for cross-domain model compression. In particular, we propose to transfer both
the universal feature-level knowledge across source and target domains and the
joint logit-level knowledge shared by both domains from the teacher to the
student model via an adversarial learning scheme. More specifically, a
feature-domain discriminator is employed to align teacher's and student's
representations for universal knowledge transfer. A data-domain discriminator
is utilized to prioritize the domain-shared samples for joint knowledge
transfer. Extensive experimental results on four time series datasets
demonstrate the superiority of our proposed method over state-of-the-art (SOTA)
benchmarks.
- Abstract(参考訳): 多くの実世界の時系列タスクにおいて、一般的な深い傾きモデルの計算複雑性は、しばしばリソース制限された環境(例えばスマートフォン)への展開を妨げる。
さらに、モデルトレーニング(ソース)とデプロイ(ターゲット)ステージのドメインシフトが避けられないため、ドメイン間シナリオ下での深層モデルを圧縮することがより難しくなります。
既存の研究の中には、モデル圧縮のためのクロスドメイン知識蒸留を既に検討しているものもあるが、それらはソースデータに偏りがあるか、あるいはソースデータとターゲットデータの間に強く絡み合っている。
そこで我々は,ドメイン間モデル圧縮のためのUniversal and joint knowledge distillation (UNI-KD)と呼ばれる新しいエンドツーエンドフレームワークを設計した。
特に、ソースドメインとターゲットドメインにまたがる普遍的な特徴レベルの知識と、教師から生徒モデルに共用する共用ロジットレベルの知識の両方を、逆学習方式で移すことを提案する。
より具体的には、普遍的な知識伝達のための教師と生徒の表現を調整するために特徴領域判別器が用いられる。
データドメイン判別器を用いて、共同知識伝達のためのドメイン共有サンプルを優先する。
4つの時系列データセットの大規模な実験結果から,提案手法が最先端(SOTA)ベンチマークよりも優れていることを示す。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Federated Domain Generalization: A Survey [12.84261944926547]
機械学習では、データはさまざまなデバイス、組織、エッジノードに分散されることが多い。
この課題に応えて、連邦領域の一般化への関心が高まっている。
本稿では,この領域における最近の進歩に関する最初の調査について述べる。
論文 参考訳(メタデータ) (2023-06-02T07:55:42Z) - TAL: Two-stream Adaptive Learning for Generalizable Person
Re-identification [115.31432027711202]
我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。
これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。
我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
論文 参考訳(メタデータ) (2021-11-29T01:27:42Z) - HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain
Language Model Compression [53.90578309960526]
大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。
階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
論文 参考訳(メタデータ) (2021-10-16T11:23:02Z) - Towards Data-Free Domain Generalization [12.269045654957765]
異なるソースデータドメインでトレーニングされたモデルに含まれる知識は、どのようにして単一のモデルにマージされるのか?
以前のドメインの一般化手法は、典型的にはソースドメインデータの使用に依存しており、プライベートな分散データには適さない。
DeKANは、利用可能な教師モデルからドメイン固有の知識を抽出し、融合し、ドメインシフトに頑健な学生モデルに変換するアプローチである。
論文 参考訳(メタデータ) (2021-10-09T11:44:05Z) - Variational Attention: Propagating Domain-Specific Knowledge for
Multi-Domain Learning in Crowd Counting [75.80116276369694]
群集カウントでは, 激しいラベル付けの問題により, 新しい大規模データセットを収集する難易度が知覚される。
マルチドメイン共同学習を活用し,DKPNet(Domain-specific Knowledge Propagating Network)を提案する。
主に、異なるドメインに対する注意分布を明示的にモデル化する、新しい変動注意法(VA)技術を提案する。
論文 参考訳(メタデータ) (2021-08-18T08:06:37Z) - Generalizable Person Re-identification with Relevance-aware Mixture of
Experts [45.13716166680772]
我々はRaMoE(Relevance-Aware Mixed of Expert)と呼ばれる新しい手法を提案する。
RaMoEは、効率的な投票に基づく混合メカニズムを使用して、モデル一般化を改善するために、ソースドメインの様々な特性を動的に活用する。
対象ドメインの学習時の視認性を考慮し,新たな学習学習アルゴリズムと関係アライメント損失を組み合わせることで,投票ネットワークを更新する手法を提案する。
論文 参考訳(メタデータ) (2021-05-19T14:19:34Z) - FedDG: Federated Domain Generalization on Medical Image Segmentation via
Episodic Learning in Continuous Frequency Space [63.43592895652803]
フェデレーションラーニングは、分散医療機関がプライバシ保護を備えた共有予測モデルを共同で学習することを可能にします。
臨床展開では、連合学習で訓練されたモデルは、連邦外の完全に見えない病院に適用された場合、パフォーマンス低下に苦しむ可能性がある。
そこで本研究では,この問題に対してELCFS(Episodic Learning in Continuous frequency Space)と呼ばれる新しいアプローチを提案する。
本手法の有効性は,2つの医用画像分割作業における最先端および深部アブレーション実験よりも優れていた。
論文 参考訳(メタデータ) (2021-03-10T13:05:23Z) - Physically-Constrained Transfer Learning through Shared Abundance Space
for Hyperspectral Image Classification [14.840925517957258]
本稿では、ソースとターゲットドメイン間のギャップを埋める新しい転送学習手法を提案する。
提案手法は,共有空間を経由した物理制約付き移動学習と呼ばれる。
論文 参考訳(メタデータ) (2020-08-19T17:41:37Z) - Learning to Combine: Knowledge Aggregation for Multi-Source Domain
Adaptation [56.694330303488435]
マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。
簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。
我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
論文 参考訳(メタデータ) (2020-07-17T07:52:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。