論文の概要: An Efficient Federated Distillation Learning System for Multi-task Time Series Classification

• arxiv url: http://arxiv.org/abs/2201.00011v1
• Date: Thu, 30 Dec 2021 14:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-05 04:39:33.645383
• Title: An Efficient Federated Distillation Learning System for Multi-task Time Series Classification
• Title（参考訳）: マルチタスク時系列分類のための効率的フェデレート蒸留学習システム
• Authors: Huanlai Xing, Zhiwen Xiao, Rong Qu, Zonghai Zhu, and Bowen Zhao
• Abstract要約: 本稿では,マルチタスク時系列分類(TSC)のための効率的なフェデレート蒸留学習システム(EFDLS)を提案する。 EFDLSには2つの新しいコンポーネントがある。 実験結果から,提案するEFDLSは,トップ1の精度で選択したUCR2018データセットに対して優れた性能を示すことが示された。
• 参考スコア（独自算出の注目度）: 2.8567815257496516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes an efficient federated distillation learning system (EFDLS) for multi-task time series classification (TSC). EFDLS consists of a central server and multiple mobile users, where different users may run different TSC tasks. EFDLS has two novel components, namely a feature-based student-teacher (FBST) framework and a distance-based weights matching (DBWM) scheme. Within each user, the FBST framework transfers knowledge from its teacher's hidden layers to its student's hidden layers via knowledge distillation, with the teacher and student having identical network structure. For each connected user, its student model's hidden layers' weights are uploaded to the EFDLS server periodically. The DBWM scheme is deployed on the server, with the least square distance used to measure the similarity between the weights of two given models. This scheme finds a partner for each connected user such that the user's and its partner's weights are the closest among all the weights uploaded. The server exchanges and sends back the user's and its partner's weights to these two users which then load the received weights to their teachers' hidden layers. Experimental results show that the proposed EFDLS achieves excellent performance on a set of selected UCR2018 datasets regarding top-1 accuracy.
• Abstract（参考訳）: 本稿では,マルチタスク時系列分類(TSC)のための効率的なフェデレート蒸留学習システム(EFDLS)を提案する。 EFDLSは中央サーバと複数のモバイルユーザで構成されており、異なるユーザが異なるTSCタスクを実行することができる。 EFDLSには、FBST(Feature-based student-Teacher)フレームワークとDBWM(Trange-based weights matching)スキームという、2つの新しいコンポーネントがある。 各ユーザ内において、FBSTフレームワークは、教師と生徒が同一のネットワーク構造を持っていて、教師の隠れた層から生徒の隠れた層へ知識を伝達する。 接続されたユーザ毎に、学生モデルの隠されたレイヤの重みがEFDLSサーバに定期的にアップロードされる。 DBWMスキームはサーバ上に展開され、2つのモデルの重みの類似度を測定するために最小2乗距離を使用する。 このスキームは、各接続ユーザに対して、アップロードされたすべての重みのうち、ユーザとそのパートナーの重みが最も近いようにパートナーを見つける。 サーバは、ユーザとそのパートナーの重みをこの2つのユーザに送ると、受信した重みを教師の隠れた層にロードする。 実験結果から,提案するEFDLSは,トップ1の精度で選択したUCR2018データセットに対して優れた性能を示すことが示された。

関連論文リスト

• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Replica Tree-based Federated Learning using Limited Data [6.572149681197959]
  本研究では,RepTreeFLという新しいフェデレーション学習フレームワークを提案する。 ソリューションの中核はレプリカの概念であり、モデルアーキテクチャをコピーし、ローカルなデータ分散を摂動することで、各クライアントを複製します。 当社のアプローチでは,データ分布の多様さで多数のモデルを集約することで,限られたデータと少数のクライアントから学習することが可能である。
  論文  参考訳（メタデータ） (2023-12-28T17:47:25Z)
• Continual Learning: Forget-free Winning Subnetworks for Video Representations [75.40220771931132]
  タスク性能の面でのサブネットワーク(WSN)の勝利は、様々な連続学習タスクに対して考慮される。 タスクインクリメンタルラーニング(TIL)とタスク非依存インクリメンタルラーニング(TaIL)のシナリオにおいて,既存のネットワークからの重み付けを活用して,効率的な学習を実現する。 ビデオインクリメンタルラーニング(VIL)におけるWSN内のフーリエサブニューラル演算子(FSO)の利用
  論文  参考訳（メタデータ） (2023-12-19T09:11:49Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Efficient Temporal Sentence Grounding in Videos with Multi-Teacher Knowledge Distillation [29.952771954087602]
  TSGV(Temporal Sentence Grounding in Videos)は、未トリミングビデオから自然言語クエリによって記述されたイベントタイムスタンプを検出することを目的としている。 本稿では,TSGVモデルにおいて高い性能を維持しながら効率的な計算を実現することの課題について論じる。
  論文  参考訳（メタデータ） (2023-08-07T17:07:48Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Progressive Network Grafting for Few-Shot Knowledge Distillation [60.38608462158474]
  本稿では, 数ショットデータに適した二段蒸留方式を提案する。 最初のステップでは、生徒のブロックを1つずつ教師に移植し、移植されたブロックのパラメータと他の教師ブロックのパラメータを学習します。 CIFAR10, CIFAR100, ILSVRC-2012で, わずか数サンプルで, 満足のいく結果が得られることを実証した。
  論文  参考訳（メタデータ） (2020-12-09T08:34:36Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。