Fugu-MT 論文翻訳(概要): Concept-aware clustering for decentralized deep learning under temporal shift

論文の概要: Concept-aware clustering for decentralized deep learning under temporal shift

arxiv url: http://arxiv.org/abs/2306.12768v1
Date: Thu, 22 Jun 2023 09:45:40 GMT
ステータス: 処理完了
システム内更新日: 2023-06-23 14:56:22.076473
Title: Concept-aware clustering for decentralized deep learning under temporal shift
Title（参考訳）: 時間変化下における分散ディープラーニングのための概念認識クラスタリング
Authors: Marcus Toft{\aa}s, Emilie Klefbom, Edvin Listo Zec, Martin Willbo, Olof Mogren
Abstract要約: 我々はまず、非IDおよび動的データによる分散学習の新たな問題に取り組む。本稿では,ネットワークの進化する概念を自動的に発見し,適応する新しいアルゴリズムを提案する。提案アルゴリズムは,標準ベンチマークデータセット上で評価し,従来の分散学習手法よりも優れていることを示す。
参考スコア（独自算出の注目度）: 0.32248805768155825
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Decentralized deep learning requires dealing with non-iid data across clients, which may also change over time due to temporal shifts. While non-iid data has been extensively studied in distributed settings, temporal shifts have received no attention. To the best of our knowledge, we are first with tackling the novel and challenging problem of decentralized learning with non-iid and dynamic data. We propose a novel algorithm that can automatically discover and adapt to the evolving concepts in the network, without any prior knowledge or estimation of the number of concepts. We evaluate our algorithm on standard benchmark datasets and demonstrate that it outperforms previous methods for decentralized learning.
Abstract（参考訳）: 分散ディープラーニングでは、クライアント間の非IDデータを扱う必要があり、時間的シフトによって時間とともに変化する可能性がある。非iidデータは分散環境で広く研究されているが、時間シフトは注目されていない。私たちの知識を最大限に活用するために、私たちはまず、非IDデータと動的データによる分散学習という、新しくて困難な問題に取り組みます。本稿では,ネットワーク内の進化する概念を自動的に発見し,適応できる新しいアルゴリズムを提案する。提案アルゴリズムは,標準ベンチマークデータセット上で評価し,従来の分散学習手法よりも優れていることを示す。

関連論文リスト

Deep-Relative-Trust-Based Diffusion for Decentralized Deep Learning [12.883347524020724]
分散学習戦略により、エージェントの集合は集中集約やオーケストレーションを必要とせずに、ローカルデータセットから効率的に学習することができる。本稿では,最近導入されたニューラルネットワークの類似度尺度であるディープ・リレーショナル・トラスト(DRT)に基づく,DRT拡散と呼ばれる新しい分散学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2025-01-06T17:31:36Z)
A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文参考訳（メタデータ） (2024-09-18T14:57:13Z)
Robustness of Decentralised Learning to Nodes and Data Disruption [4.062458976723649]
ノードの破壊が集団学習過程に及ぼす影響について検討する。その結果,分散学習プロセスはネットワーク破壊に対して極めて堅牢であることがわかった。
論文参考訳（メタデータ） (2024-05-03T12:14:48Z)
A Novel Neural Network-Based Federated Learning System for Imbalanced and Non-IID Data [2.9642661320713555]
ほとんどの機械学習アルゴリズムは、様々なソースから収集される大量のデータに大きく依存している。この問題に対処するため、研究者らはフェデレーション学習を導入し、クライアントデータのプライバシーを確保することによって予測モデルを学習した。本研究では,ニューラルネットワークに基づくフェデレーション学習システムを提案する。
論文参考訳（メタデータ） (2023-11-16T17:14:07Z)
Continual Learning with Deep Streaming Regularized Discriminant Analysis [0.0]
本稿では,この課題に対する解決法として,正規化判別分析のストリーミング版を提案する。アルゴリズムを畳み込みニューラルネットワークと組み合わせて、バッチ学習と既存のストリーミング学習アルゴリズムよりも優れていることを実証します。
論文参考訳（メタデータ） (2023-09-15T12:25:42Z)
To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review [30.87092042943743]
ディープニューラルネットワークは教師付き学習タスクに優れるが、広範なラベル付きデータの必要性によって制約される。自己組織化学習は有望な代替手段として登場し、明確なラベルなしでモデルを学習できる。情報理論、特に情報ボトルネックの原則は、ディープニューラルネットワークの形成において重要な役割を担っている。
論文参考訳（メタデータ） (2023-04-19T00:33:59Z)
On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文参考訳（メタデータ） (2022-03-08T09:57:48Z)
Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文参考訳（メタデータ） (2021-11-04T15:36:25Z)
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2021-02-09T11:27:14Z)
A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文参考訳（メタデータ） (2020-09-29T13:08:12Z)
Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文参考訳（メタデータ） (2020-08-24T13:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。