論文の概要: Distilling Universal and Joint Knowledge for Cross-Domain Model
Compression on Time Series Data
- arxiv url: http://arxiv.org/abs/2307.03347v1
- Date: Fri, 7 Jul 2023 01:48:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-10 13:37:27.812924
- Title: Distilling Universal and Joint Knowledge for Cross-Domain Model
Compression on Time Series Data
- Title（参考訳）: 時系列データを用いたクロスドメインモデル圧縮のためのユニバーサルおよびジョイント知識の蒸留
- Authors: Qing Xu, Min Wu, Xiaoli Li, Kezhi Mao, Zhenghua Chen
- Abstract要約: ドメイン間モデル圧縮のためのUniversal and joint knowledge distillation (UNI-KD) と呼ばれる新しいエンドツーエンドフレームワークを提案する。
特に、ソースドメインとターゲットドメインにまたがる普遍的特徴レベル知識と、教師から生徒モデルに共通する共同ロジットレベル知識の両方を、逆学習方式で転送することを提案する。
- 参考スコア（独自算出の注目度）: 18.41222232863567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For many real-world time series tasks, the computational complexity of
prevalent deep leaning models often hinders the deployment on resource-limited
environments (e.g., smartphones). Moreover, due to the inevitable domain shift
between model training (source) and deploying (target) stages, compressing
those deep models under cross-domain scenarios becomes more challenging.
Although some of existing works have already explored cross-domain knowledge
distillation for model compression, they are either biased to source data or
heavily tangled between source and target data. To this end, we design a novel
end-to-end framework called Universal and joint knowledge distillation (UNI-KD)
for cross-domain model compression. In particular, we propose to transfer both
the universal feature-level knowledge across source and target domains and the
joint logit-level knowledge shared by both domains from the teacher to the
student model via an adversarial learning scheme. More specifically, a
feature-domain discriminator is employed to align teacher's and student's
representations for universal knowledge transfer. A data-domain discriminator
is utilized to prioritize the domain-shared samples for joint knowledge
transfer. Extensive experimental results on four time series datasets
demonstrate the superiority of our proposed method over state-of-the-art (SOTA)
benchmarks.
- Abstract（参考訳）: 多くの実世界の時系列タスクにおいて、一般的な深い傾きモデルの計算複雑性は、しばしばリソース制限された環境(例えばスマートフォン)への展開を妨げる。
さらに、モデルトレーニング(ソース)とデプロイ(ターゲット)ステージのドメインシフトが避けられないため、ドメイン間シナリオ下での深層モデルを圧縮することがより難しくなります。
既存の研究の中には、モデル圧縮のためのクロスドメイン知識蒸留を既に検討しているものもあるが、それらはソースデータに偏りがあるか、あるいはソースデータとターゲットデータの間に強く絡み合っている。
そこで我々は,ドメイン間モデル圧縮のためのUniversal and joint knowledge distillation (UNI-KD)と呼ばれる新しいエンドツーエンドフレームワークを設計した。
特に、ソースドメインとターゲットドメインにまたがる普遍的な特徴レベルの知識と、教師から生徒モデルに共用する共用ロジットレベルの知識の両方を、逆学習方式で移すことを提案する。
より具体的には、普遍的な知識伝達のための教師と生徒の表現を調整するために特徴領域判別器が用いられる。
データドメイン判別器を用いて、共同知識伝達のためのドメイン共有サンプルを優先する。
4つの時系列データセットの大規模な実験結果から,提案手法が最先端(SOTA)ベンチマークよりも優れていることを示す。
関連論文リスト
- Domain Expansion and Boundary Growth for Open-Set Single-Source Domain Generalization [70.02187124865627]
オープンソースの単一ソースドメインの一般化は、単一のソースドメインを使用して、未知のターゲットドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。
本稿では,領域拡大と境界成長に基づく新しい学習手法を提案する。
提案手法は,いくつかの領域横断画像分類データセットにおいて,大幅な改善と最先端性能を実現することができる。
論文 参考訳（メタデータ） (2024-11-05T09:08:46Z) - xTED: Cross-Domain Adaptation via Diffusion-Based Trajectory Editing [21.37585797507323]
ドメイン間政策伝達手法は主に、ポリシー学習を容易にするために、ドメインの対応や修正を学習することを目的としている。
本稿では,クロスドメイントラジェクトリ適応のために特別に設計された拡散モデルを用いたクロスドメイントラジェクトリ・EDitingフレームワークを提案する。
提案するモデルアーキテクチャは,対象データ内の動的パターンだけでなく,状態,行動,報酬間の複雑な依存関係を効果的にキャプチャする。
論文 参考訳（メタデータ） (2024-09-13T10:07:28Z) - UDON: Universal Dynamic Online distillatioN for generic image representations [5.487134463783365]
ユニバーサル画像表現は、現実世界の微粒化とインスタンスレベルの認識アプリケーションの実現に不可欠である。
既存のメソッドは、異なるドメイン間でのデータ分散の違いを無視しながら、重要なドメイン固有の知識をキャプチャできない。
UDON(Universal Dynamic Online DistillatioN)と呼ばれる新しい学習手法を導入する。
UDONでは、各教師が1つのドメインに特化して、詳細なドメイン固有の知識を学生の普遍的な埋め込みに伝達するマルチティーチンガー蒸留を採用している。
論文 参考訳（メタデータ） (2024-06-12T15:36:30Z) - StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。
最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。
データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
論文 参考訳（メタデータ） (2024-06-01T02:41:34Z) - Federated Domain Generalization: A Survey [12.84261944926547]
機械学習では、データはさまざまなデバイス、組織、エッジノードに分散されることが多い。
この課題に応えて、連邦領域の一般化への関心が高まっている。
本稿では,この領域における最近の進歩に関する最初の調査について述べる。
論文 参考訳（メタデータ） (2023-06-02T07:55:42Z) - TAL: Two-stream Adaptive Learning for Generalizable Person
Re-identification [115.31432027711202]
我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。
これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。
我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
論文 参考訳（メタデータ） (2021-11-29T01:27:42Z) - HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain
Language Model Compression [53.90578309960526]
大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。
階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
論文 参考訳（メタデータ） (2021-10-16T11:23:02Z) - Generalizable Person Re-identification with Relevance-aware Mixture of
Experts [45.13716166680772]
我々はRaMoE(Relevance-Aware Mixed of Expert)と呼ばれる新しい手法を提案する。
RaMoEは、効率的な投票に基づく混合メカニズムを使用して、モデル一般化を改善するために、ソースドメインの様々な特性を動的に活用する。
対象ドメインの学習時の視認性を考慮し,新たな学習学習アルゴリズムと関係アライメント損失を組み合わせることで,投票ネットワークを更新する手法を提案する。
論文 参考訳（メタデータ） (2021-05-19T14:19:34Z) - FedDG: Federated Domain Generalization on Medical Image Segmentation via
Episodic Learning in Continuous Frequency Space [63.43592895652803]
フェデレーションラーニングは、分散医療機関がプライバシ保護を備えた共有予測モデルを共同で学習することを可能にします。
臨床展開では、連合学習で訓練されたモデルは、連邦外の完全に見えない病院に適用された場合、パフォーマンス低下に苦しむ可能性がある。
そこで本研究では,この問題に対してELCFS(Episodic Learning in Continuous frequency Space)と呼ばれる新しいアプローチを提案する。
本手法の有効性は,2つの医用画像分割作業における最先端および深部アブレーション実験よりも優れていた。
論文 参考訳（メタデータ） (2021-03-10T13:05:23Z) - Learning to Combine: Knowledge Aggregation for Multi-Source Domain
Adaptation [56.694330303488435]
マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。
簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。
我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
論文 参考訳（メタデータ） (2020-07-17T07:52:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。