論文の概要: Expanding Deep Learning-based Sensing Systems with Multi-Source Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2412.04060v1
• Date: Thu, 05 Dec 2024 10:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:09.111744
• Title: Expanding Deep Learning-based Sensing Systems with Multi-Source Knowledge Transfer
• Title（参考訳）: マルチソース知識伝達による深層学習型センシングシステムの拡張
• Authors: Gaole Dai, Huatao Xu, Rui Tan, Mo Li,
• Abstract要約: 本稿では,センサシステムを拡張するための効率的な知識伝達フレームワークであるHaKTを提案する。 まず、低コストでシステムから複数の高品質モデルを選択し、次に、サンプルワイドの重みを予測に割り当てることで知識を融合させる。 実験によると、HaKTは最先端のベースラインを少なくとも16.5%上回り、通信トラフィックを最大39%削減している。
• 参考スコア（独自算出の注目度）: 3.942086160247465
• License:
• Abstract: Expanding the existing sensing systems to provide high-quality deep learning models for more domains, such as new users or environments, is challenged by the limited labeled data and the data and device heterogeneities. While knowledge distillation methods could overcome label scarcity and device heterogeneity, they assume the teachers are fully reliable and overlook the data heterogeneity, which prevents the direct adoption of existing models. To address this problem, this paper proposes an efficient knowledge transfer framework, HaKT, to expand sensing systems. It first selects multiple high-quality models from the system at a low cost and then fuses their knowledge by assigning sample-wise weights to their predictions. Later, the fused knowledge is selectively injected into the customized models for new domains based on the knowledge quality. Extensive experiments on different tasks, modalities, and settings show that HaKT outperforms stat-of-the-art baselines by at most 16.5% accuracy and saves up to 39% communication traffic.
• Abstract（参考訳）: 既存のセンシングシステムを拡張して、新しいユーザや環境など、より多くのドメインに対して高品質なディープラーニングモデルを提供することは、ラベル付きデータとデータとデバイスの不均一性によって困難である。 知識蒸留法はラベルの不足やデバイスの不均一性を克服する可能性があるが、教師はデータ不均一性を十分に信頼し、見落としていると仮定し、既存のモデルの直接的な採用を妨げている。 そこで本研究では,センサシステムの拡張を目的とした,効率的な知識伝達フレームワークHaKTを提案する。 まず、低コストでシステムから複数の高品質モデルを選択し、次に、サンプルワイドの重みを予測に割り当てることで知識を融合させる。 その後、知識質に基づいて、新しいドメインのカスタマイズモデルに融合知識を選択的に注入する。 様々なタスク、モダリティ、設定に関する大規模な実験では、HaKTは最先端のベースラインを少なくとも16.5%上回り、通信トラフィックを最大39%削減している。

関連論文リスト

• Auto-selected Knowledge Adapters for Lifelong Person Re-identification [54.42307214981537]
  Lifelong Person Re-Identificationは、異なる時間と場所にわたる重複しないデータセットから継続的に学習するシステムを必要とする。 リハーサルのない、あるいはリハーサルベースの既存のアプローチは、依然として破滅的な忘れ込みの問題に悩まされている。 本稿では,知識アダプタを採用した新しいフレームワークであるAdalReIDと,生涯学習のためのパラメータフリー自動選択機構を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:42:02Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
  ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。 本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。 FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• TeSLA: Test-Time Self-Learning With Automatic Adversarial Augmentation [13.515566909672188]
  本稿では,TeSLAと呼ばれる自動適応型自己学習手法を提案する。 我々は,相互情報とオンライン知識蒸留との密接な関係を通じて,新たなテスト時間損失関数を導入する。 提案手法は,いくつかのベンチマークやドメインシフトのタイプにおいて,最先端の分類とセグメンテーション結果を実現する。
  論文  参考訳（メタデータ） (2023-03-17T10:15:13Z)
• HierarchyFL: Heterogeneous Federated Learning via Hierarchical Self-Distillation [12.409497615805797]
  フェデレートラーニング(FL)は、プライバシ保護の分散機械学習パラダイムとして認識されている。 FLは、AIoTデバイスのモデル不均一性により、モデル不正確性と緩やかな収束に悩まされる。 我々は、少数の公開データを効率よくスケーラブルな知識に利用する、HierarchyFLという効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-05T03:32:10Z)
• Application of federated learning techniques for arrhythmia classification using 12-lead ECG signals [0.11184789007828977]
  この作業では、フェデレートラーニング(FL)プライバシ保護方法論を使用して、高定義のECGの異種集合上でAIモデルをトレーニングする。 CL, IID, 非IIDアプローチを用いて訓練したモデルと比較した。
  論文  参考訳（メタデータ） (2022-08-23T14:21:16Z)
• Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
  オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。 CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。 複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-12T06:23:49Z)
• Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
  Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。 合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
  論文  参考訳（メタデータ） (2020-03-30T02:43:16Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。