論文の概要: Real-Time Decentralized knowledge Transfer at the Edge

• arxiv url: http://arxiv.org/abs/2011.05961v4
• Date: Fri, 1 Oct 2021 16:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 00:34:51.352407
• Title: Real-Time Decentralized knowledge Transfer at the Edge
• Title（参考訳）: エッジにおけるリアルタイム分散知識伝達
• Authors: Orpaz Goldstein, Mohammad Kachuee, Derek Shiell, Majid Sarrafzadeh
• Abstract要約: 選択的な分散されたアプローチで知識を伝達することで、モデルは局所的な洞察を維持することができる。 本研究では,非I.D.データに基づくモデルを用いた知識伝達パイプラインの知識蒸留に基づく手法を提案する。 実験では,本モデルを用いた知識伝達が,実時間転送シナリオにおいて標準手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 6.732931634492992
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The proliferation of edge networks creates islands of learning agents working on local streams of data. Transferring knowledge between these agents in real-time without exposing private data allows for collaboration to decrease learning time and increase model confidence. Incorporating knowledge from data that a local model did not see creates an ability to debias a local model or add to classification abilities on data never before seen. Transferring knowledge in a selective decentralized approach enables models to retain their local insights, allowing for local flavors of a machine learning model. This approach suits the decentralized architecture of edge networks, as a local edge node will serve a community of learning agents that will likely encounter similar data. We propose a method based on knowledge distillation for pairwise knowledge transfer pipelines from models trained on non-i.i.d. data and compare it to other popular knowledge transfer methods. Additionally, we test different scenarios of knowledge transfer network construction and show the practicality of our approach. Our experiments show knowledge transfer using our model outperforms standard methods in a real-time transfer scenario.
• Abstract（参考訳）: エッジネットワークの増殖は、ローカルなデータストリームを扱う学習エージェントの島を作り出します。 プライベートデータを公開せずにエージェント間の知識をリアルタイムで転送することで、学習時間を短縮し、モデルの信頼性を高めることができる。 ローカルモデルが見たことのないデータから知識を組み込むことで、ローカルモデルをデバイアスしたり、これまで見たことのないデータの分類能力を追加することができる。 知識を選択的に分散したアプローチに移すことで、モデルがローカルな洞察を保持し、機械学習モデルのローカルなフレーバーを可能にする。 このアプローチは、ローカルエッジノードが同様のデータに遭遇する可能性のある学習エージェントのコミュニティを提供するため、エッジネットワークの分散アーキテクチャに適合する。 そこで本研究では,非音声認識データを用いたモデルから,知識伝達パイプラインの知識蒸留を行い,他の一般的な知識伝達手法と比較する手法を提案する。 さらに,知識伝達ネットワーク構築の異なるシナリオを検証し,本手法の実用性を示す。 本実験は, 実時間転送シナリオにおいて, 標準手法よりも優れた知識伝達を示す。

関連論文リスト

• Proximity-based Self-Federated Learning [1.0066310107046081]
  本稿では,近接型自己フェデレーション学習という,新しい完全分散型フェデレーション学習戦略を提案する。 従来のアルゴリズムとは異なり、我々の手法は、地理的近接とモデル精度に基づいて、クライアントが近隣ノードとモデルを共有し、調整することを奨励する。
  論文  参考訳（メタデータ） (2024-07-17T08:44:45Z)
• MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.68829963458408]
  異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。 MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。 MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
  論文  参考訳（メタデータ） (2024-04-20T08:34:39Z)
• KnFu: Effective Knowledge Fusion [5.305607095162403]
  フェデレートラーニング(FL)は、従来の集中型ラーニングのアプローチに代わる顕著な代替手段として登場した。 本稿では,各クライアントに対してセマンティックな隣人の効果的な知識を融合させるためのみに,局所モデルの知識を評価するEffective Knowledge Fusion(KnFu)アルゴリズムを提案する。 この研究の重要な結論は、大規模でヘテロジニアスなローカルデータセットを持つシナリオでは、知識融合ベースのソリューションよりも局所的なトレーニングが望ましい、ということである。
  論文  参考訳（メタデータ） (2024-03-18T15:49:48Z)
• Bridged-GNN: Knowledge Bridge Learning for Effective Knowledge Transfer [65.42096702428347]
  グラフニューラルネットワーク(GNN)は、隣接するノードから情報を集約する。 知識ブリッジ学習(KBL)は、対象ドメインに対する知識強化後部分布を学習する。 Bridged-GNNには、Bridged-Graphを構築するためのAdaptive Knowledge Retrievalモジュールと、Graph Knowledge Transferモジュールが含まれている。
  論文  参考訳（メタデータ） (2023-08-18T12:14:51Z)
• FedACK: Federated Adversarial Contrastive Knowledge Distillation for Cross-Lingual and Cross-Model Social Bot Detection [22.979415040695557]
  FedACKは、ソーシャルボット検出のための新しい敵対的対照的な知識蒸留フレームワークである。 グローバルなジェネレータは、グローバルなデータ分散の知識を抽出し、各クライアントのローカルモデルに蒸留するために使用される。 実験により、FedACKは精度、通信効率、特徴空間の整合性という点で最先端のアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-10T03:10:08Z)
• Change Detection for Local Explainability in Evolving Data Streams [72.4816340552763]
  局所的特徴帰属法はポストホックやモデルに依存しない説明法として人気がある。 ローカルな属性が、ストリーミングやオンラインアプリケーションのような、現実的で絶えず変化する設定でどのように振る舞うかは、しばしば不明である。 局所変化と概念ドリフトを検出するフレキシブルでモデルに依存しないCDLEEDSを提案する。
  論文  参考訳（メタデータ） (2022-09-06T18:38:34Z)
• Certified Robustness in Federated Learning [54.03574895808258]
  我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。 単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
  論文  参考訳（メタデータ） (2022-06-06T12:10:53Z)
• CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning [27.84845136697669]
  我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。 提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
  論文  参考訳（メタデータ） (2022-04-04T14:49:19Z)
• Data-Free Knowledge Transfer: A Survey [13.335198869928167]
  知識蒸留(KD)とドメイン適応(DA)が提案され,研究のハイライトとなっている。 どちらも、元のトレーニングデータを持つ十分に訓練されたモデルから有用な情報を転送することを目的としている。 近年,データフリーな知識伝達パラダイムが注目されている。
  論文  参考訳（メタデータ） (2021-12-31T03:39:42Z)
• Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
  放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。 提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T21:05:56Z)
• TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition [77.77786072373942]
  本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。 我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。 提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-02-09T03:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。