Fugu-MT 論文翻訳(概要): Collaborative Knowledge Distillation via a Learning-by-Education Node Community

論文の概要: Collaborative Knowledge Distillation via a Learning-by-Education Node Community

arxiv url: http://arxiv.org/abs/2410.00074v1
Date: Mon, 30 Sep 2024 14:22:28 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 15:09:43.539498
Title: Collaborative Knowledge Distillation via a Learning-by-Education Node Community
Title（参考訳）: 学習型ノードコミュニティによる協調的知識蒸留
Authors: Anestis Kaimakamidis, Ioannis Mademlis, Ioannis Pitas,
Abstract要約: 協調的知識蒸留(CKD)のためのLENC(Learning-by-Education Node Community framework)を紹介する。 LENCは、多様なトレーニングデータ分散を扱う上での課題と、個々のDeep Neural Network(DNN)ノード学習能力の制限に対処する。オンライン・アンラベリングCKDにおける最先端のパフォーマンスを実現する。
参考スコア（独自算出の注目度）: 19.54023115706067
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: A novel Learning-by-Education Node Community framework (LENC) for Collaborative Knowledge Distillation (CKD) is presented, which facilitates continual collective learning through effective knowledge exchanges among diverse deployed Deep Neural Network (DNN) peer nodes. These DNNs dynamically and autonomously adopt either the role of a student, seeking knowledge, or that of a teacher, imparting knowledge, fostering a collaborative learning environment. The proposed framework enables efficient knowledge transfer among participating DNN nodes as needed, while enhancing their learning capabilities and promoting their collaboration. LENC addresses the challenges of handling diverse training data distributions and the limitations of individual DNN node learning abilities. It ensures the exploitation of the best available teacher knowledge upon learning a new task and protects the DNN nodes from catastrophic forgetting. Additionally, it innovates by enabling collaborative multitask knowledge distillation, while addressing the problem of task-agnostic continual learning, as DNN nodes have no information on task boundaries. Experimental evaluation on a proof-of-concept implementation demonstrates the LENC framework's functionalities and benefits across multiple DNN learning and inference scenarios. The conducted experiments showcase its ability to gradually maximize the average test accuracy of the community of interacting DNN nodes in image classification problems, by appropriately leveraging the collective knowledge of all node peers. The LENC framework achieves state-of-the-art performance in on-line unlabelled CKD.
Abstract（参考訳）: 多様なデプロイされたディープニューラルネットワーク(DNN)ピアノード間の効果的な知識交換を通じて、継続的な集団学習を容易にする。これらのDNNは、学生の役割、知識の追求、あるいは教師の役割を動的かつ自律的に採用し、知識を与え、協調的な学習環境を育む。提案フレームワークは,学習能力を高め,協調を促進するとともに,参加するDNNノード間の効率的な知識伝達を可能にする。 LENCは、多様なトレーニングデータ分散を扱う際の課題と、個々のDNNノード学習能力の制限に対処する。新たなタスクを学習する上で最高の教師知識を活用できるようにし、DNNノードを破滅的な忘れ物から保護する。さらに、DNNノードはタスク境界に関する情報を持っていないため、タスク非依存の連続学習の問題に対処しながら、協調的なマルチタスク知識蒸留を可能にすることで革新を行う。概念実証の実装に関する実験的評価は、複数のDNN学習および推論シナリオにおけるLENCフレームワークの機能とメリットを示している。実験では,全てのノードの集合的知識を適切に活用することにより,画像分類問題における相互作用するDNNノードのコミュニティの平均的テスト精度を徐々に最大化する能力を示した。 LENCフレームワークは、ラインレスCKDにおける最先端のパフォーマンスを実現する。

関連論文リスト

DeepKnowledge: Generalisation-Driven Deep Learning Testing [2.526146573337397]
DeepKnowledgeは、DNNベースのシステムの体系的なテスト手法である。堅牢性を高め、'ブラックボックス'モデルの残留リスクを低減することを目的としている。本報告では, 対人攻撃検出のための最先端のサーベイ基準に対して, 最大10ポイントの改善を報告した。
論文参考訳（メタデータ） (2024-03-25T13:46:09Z)
Enhancing Efficient Continual Learning with Dynamic Structure Development of Spiking Neural Networks [6.407825206595442]
子どもは複数の認知タスクを逐次学習する能力を持っている。既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
論文参考訳（メタデータ） (2023-08-09T07:36:40Z)
Shared Growth of Graph Neural Networks via Prompted Free-direction Knowledge Distillation [39.35619721100205]
グラフニューラルネットワーク(GNN)の強化学習による初のフリーダイレクト知識蒸留フレームワークを提案する。私たちの中核となる考え方は、より浅い2つのGNNを共同で学習し、それら間で知識を交換することです。 5つのベンチマークデータセットの実験では、我々のアプローチはベースGNNよりも大きなマージンで優れています。
論文参考訳（メタデータ） (2023-07-02T10:03:01Z)
Boosting Graph Neural Networks via Adaptive Knowledge Distillation [18.651451228086643]
グラフニューラルネットワーク(GNN)は、多様なグラフマイニングタスクにおいて顕著なパフォーマンスを示している。知識蒸留(KD)は、複数のモデルからの多様な知識を組み合わせるために開発された。我々は,複数のGNNから学生GNNに情報を逐次転送する,BGNNと呼ばれる新しい適応型KDフレームワークを提案する。
論文参考訳（メタデータ） (2022-10-12T04:48:50Z)
Continual Prune-and-Select: Class-incremental learning with specialized subnetworks [66.4795381419701]
CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。これは、クラス増分学習における第一級の結果である。
論文参考訳（メタデータ） (2022-08-09T10:49:40Z)
Robust Knowledge Adaptation for Dynamic Graph Neural Networks [61.8505228728726]
動的グラフニューラルネットワークのための強化学習による堅牢な知識適応フレームワークであるAda-DyGNNを提案する。我々のアプローチは、強化学習による堅牢な知識適応を探求する最初の試みである。 3つのベンチマークデータセットの実験は、Ada-DyGNNが最先端のパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2022-07-22T02:06:53Z)
FreeKD: Free-direction Knowledge Distillation for Graph Neural Networks [31.980564414833175]
良く知られた過度なパラメータ化と過度な平滑化の問題のために、満足いく教師のGNNを訓練することは困難である。我々は,GNNの強化学習を通じて,FreeKDと呼ばれる最初のフリーダイレクト知識蒸留フレームワークを提案する。我々のFreeKDは汎用的で原則化されたフレームワークであり、異なるアーキテクチャのGNNと自然に互換性がある。
論文参考訳（メタデータ） (2022-06-14T02:24:38Z)
Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。本稿では,関係データに対するKENNの拡張を提案する。
論文参考訳（メタデータ） (2022-05-31T13:00:34Z)
Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
論文参考訳（メタデータ） (2021-01-06T03:05:37Z)
Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文参考訳（メタデータ） (2020-09-13T21:12:20Z)
DEPARA: Deep Attribution Graph for Deep Knowledge Transferability [91.06106524522237]
本稿では,PR-DNNから学んだ知識の伝達可能性を検討するために,DreP Attribution gRAph (DEPARA)を提案する。 DEPARAでは、ノードは入力に対応し、PR-DNNの出力に関してベクトル化された属性マップで表現される。 2つのPR-DNNの知識伝達性は、対応するDEPARAの類似性によって測定される。
論文参考訳（メタデータ） (2020-03-17T02:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。