論文の概要: Real-Time Decentralized knowledge Transfer at the Edge
- arxiv url: http://arxiv.org/abs/2011.05961v4
- Date: Fri, 1 Oct 2021 16:12:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 00:34:51.352407
- Title: Real-Time Decentralized knowledge Transfer at the Edge
- Title(参考訳): エッジにおけるリアルタイム分散知識伝達
- Authors: Orpaz Goldstein, Mohammad Kachuee, Derek Shiell, Majid Sarrafzadeh
- Abstract要約: 選択的な分散されたアプローチで知識を伝達することで、モデルは局所的な洞察を維持することができる。
本研究では,非I.D.データに基づくモデルを用いた知識伝達パイプラインの知識蒸留に基づく手法を提案する。
実験では,本モデルを用いた知識伝達が,実時間転送シナリオにおいて標準手法より優れていることを示す。
- 参考スコア(独自算出の注目度): 6.732931634492992
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The proliferation of edge networks creates islands of learning agents working
on local streams of data. Transferring knowledge between these agents in
real-time without exposing private data allows for collaboration to decrease
learning time and increase model confidence. Incorporating knowledge from data
that a local model did not see creates an ability to debias a local model or
add to classification abilities on data never before seen. Transferring
knowledge in a selective decentralized approach enables models to retain their
local insights, allowing for local flavors of a machine learning model. This
approach suits the decentralized architecture of edge networks, as a local edge
node will serve a community of learning agents that will likely encounter
similar data. We propose a method based on knowledge distillation for pairwise
knowledge transfer pipelines from models trained on non-i.i.d. data and compare
it to other popular knowledge transfer methods. Additionally, we test different
scenarios of knowledge transfer network construction and show the practicality
of our approach. Our experiments show knowledge transfer using our model
outperforms standard methods in a real-time transfer scenario.
- Abstract(参考訳): エッジネットワークの増殖は、ローカルなデータストリームを扱う学習エージェントの島を作り出します。
プライベートデータを公開せずにエージェント間の知識をリアルタイムで転送することで、学習時間を短縮し、モデルの信頼性を高めることができる。
ローカルモデルが見たことのないデータから知識を組み込むことで、ローカルモデルをデバイアスしたり、これまで見たことのないデータの分類能力を追加することができる。
知識を選択的に分散したアプローチに移すことで、モデルがローカルな洞察を保持し、機械学習モデルのローカルなフレーバーを可能にする。
このアプローチは、ローカルエッジノードが同様のデータに遭遇する可能性のある学習エージェントのコミュニティを提供するため、エッジネットワークの分散アーキテクチャに適合する。
そこで本研究では,非音声認識データを用いたモデルから,知識伝達パイプラインの知識蒸留を行い,他の一般的な知識伝達手法と比較する手法を提案する。
さらに,知識伝達ネットワーク構築の異なるシナリオを検証し,本手法の実用性を示す。
本実験は, 実時間転送シナリオにおいて, 標準手法よりも優れた知識伝達を示す。
関連論文リスト
- Bridged-GNN: Knowledge Bridge Learning for Effective Knowledge Transfer [65.42096702428347]
グラフニューラルネットワーク(GNN)は、隣接するノードから情報を集約する。
知識ブリッジ学習(KBL)は、対象ドメインに対する知識強化後部分布を学習する。
Bridged-GNNには、Bridged-Graphを構築するためのAdaptive Knowledge Retrievalモジュールと、Graph Knowledge Transferモジュールが含まれている。
論文 参考訳(メタデータ) (2023-08-18T12:14:51Z) - FedACK: Federated Adversarial Contrastive Knowledge Distillation for
Cross-Lingual and Cross-Model Social Bot Detection [22.979415040695557]
FedACKは、ソーシャルボット検出のための新しい敵対的対照的な知識蒸留フレームワークである。
グローバルなジェネレータは、グローバルなデータ分散の知識を抽出し、各クライアントのローカルモデルに蒸留するために使用される。
実験により、FedACKは精度、通信効率、特徴空間の整合性という点で最先端のアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-03-10T03:10:08Z) - Preserving Privacy in Federated Learning with Ensemble Cross-Domain
Knowledge Distillation [22.151404603413752]
Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。
既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。
我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
論文 参考訳(メタデータ) (2022-09-10T05:20:31Z) - Change Detection for Local Explainability in Evolving Data Streams [72.4816340552763]
局所的特徴帰属法はポストホックやモデルに依存しない説明法として人気がある。
ローカルな属性が、ストリーミングやオンラインアプリケーションのような、現実的で絶えず変化する設定でどのように振る舞うかは、しばしば不明である。
局所変化と概念ドリフトを検出するフレキシブルでモデルに依存しないCDLEEDSを提案する。
論文 参考訳(メタデータ) (2022-09-06T18:38:34Z) - Certified Robustness in Federated Learning [54.03574895808258]
我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。
単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
論文 参考訳(メタデータ) (2022-06-06T12:10:53Z) - CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in
Federated Learning [19.4810285821324]
我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。
提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
論文 参考訳(メタデータ) (2022-04-04T14:49:19Z) - Data-Free Knowledge Transfer: A Survey [13.335198869928167]
知識蒸留(KD)とドメイン適応(DA)が提案され,研究のハイライトとなっている。
どちらも、元のトレーニングデータを持つ十分に訓練されたモデルから有用な情報を転送することを目的としている。
近年,データフリーな知識伝達パラダイムが注目されている。
論文 参考訳(メタデータ) (2021-12-31T03:39:42Z) - Multi-Branch Deep Radial Basis Function Networks for Facial Emotion
Recognition [80.35852245488043]
放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。
RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。
提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
論文 参考訳(メタデータ) (2021-09-07T21:05:56Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳(メタデータ) (2021-08-26T14:01:04Z) - TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain
Gait Recognition [77.77786072373942]
本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。
我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。
提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
論文 参考訳(メタデータ) (2021-02-09T03:07:07Z) - Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。
現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。
MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
論文 参考訳(メタデータ) (2020-12-24T01:43:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。