論文の概要: Learning Without a Global Clock: Asynchronous Learning in a
Physics-Driven Learning Network
- arxiv url: http://arxiv.org/abs/2201.04626v1
- Date: Mon, 10 Jan 2022 05:38:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-14 15:10:46.820361
- Title: Learning Without a Global Clock: Asynchronous Learning in a
Physics-Driven Learning Network
- Title(参考訳): グローバルクロックのない学習:物理駆動学習ネットワークにおける非同期学習
- Authors: Jacob F Wycoff, Sam Dillavou, Menachem Stern, Andrea J Liu, Douglas J
Durian
- Abstract要約: 学習過程の非同期化は、理想的なシミュレーションにおいて、様々なタスクのパフォーマンスを劣化させるものではないことを示す。
我々は、勾配降下における非同期性とミニバッチの類似性を示し、それらが学習過程に類似した影響を示す。
- 参考スコア(独自算出の注目度): 1.3124513975412255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In a neuron network, synapses update individually using local information,
allowing for entirely decentralized learning. In contrast, elements in an
artificial neural network (ANN) are typically updated simultaneously using a
central processor. Here we investigate the feasibility and effect of
asynchronous learning in a recently introduced decentralized, physics-driven
learning network. We show that desynchronizing the learning process does not
degrade performance for a variety of tasks in an idealized simulation. In
experiment, desynchronization actually improves performance by allowing the
system to better explore the discretized state space of solutions. We draw an
analogy between asynchronicity and mini-batching in stochastic gradient
descent, and show that they have similar effects on the learning process.
Desynchronizing the learning process establishes physics-driven learning
networks as truly fully distributed learning machines, promoting better
performance and scalability in deployment.
- Abstract(参考訳): ニューロンネットワークでは、シナプスはローカル情報を使用して個別に更新され、完全に分散学習が可能である。
対照的に、ニューラルネットワーク(ann)の要素は通常、中央プロセッサを使用して同時に更新される。
本稿では,最近導入された分散物理駆動学習ネットワークにおける非同期学習の実現可能性と効果について検討する。
学習過程の非同期化は、理想的なシミュレーションにおいて、様々なタスクのパフォーマンスを劣化させるものではないことを示す。
実験では、非同期化は、システムが解の離散化された状態空間をよりよく探索できるようにすることで、実際にパフォーマンスを向上させる。
確率的勾配降下における非同期性とミニバッチングの類似性を示し,学習過程に類似した影響を示す。
学習プロセスの同期化は、物理駆動学習ネットワークを真の完全な分散学習マシンとして確立し、より良いパフォーマンスとデプロイメントのスケーラビリティを促進する。
関連論文リスト
- An effective and efficient green federated learning method for one-layer
neural networks [0.22499166814992436]
フェデレート・ラーニング(Federated Learning, FL)は、機械学習における最も活発な研究分野の一つである。
本研究では,1回のトレーニングラウンドでグローバルな協調モデルを生成可能な,隠れた層を持たないニューラルネットワークに基づくFL法を提案する。
本手法は同一および非同一の分散シナリオの両方において等しく機能することを示す。
論文 参考訳(メタデータ) (2023-12-22T08:52:08Z) - The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。
私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文 参考訳(メタデータ) (2022-07-04T11:27:08Z) - SpikiLi: A Spiking Simulation of LiDAR based Real-time Object Detection
for Autonomous Driving [0.0]
Spiking Neural Networksは、電力効率、計算効率、処理遅延を大幅に改善する新しいニューラルネットワーク設計アプローチである。
まず,複雑なディープラーニングタスク,すなわちLidarベースの3Dオブジェクト検出による自動運転への適用性について説明する。
論文 参考訳(メタデータ) (2022-06-06T20:05:17Z) - Asynchronous Reinforcement Learning for Real-Time Control of Physical
Robots [2.3061446605472558]
学習更新が高価である場合には、逐次学習のパフォーマンスが低下し、非同期学習により大幅に向上することを示す。
われわれのシステムは2時間以内に、リアルタイムで学習し、2時間以内にピクセルから視覚的目標に到達し、追跡する。
論文 参考訳(メタデータ) (2022-03-23T23:05:28Z) - Characterizing and overcoming the greedy nature of learning in
multi-modal deep neural networks [62.48782506095565]
深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。
本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
論文 参考訳(メタデータ) (2022-02-10T20:11:21Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳(メタデータ) (2022-02-07T05:11:01Z) - Accelerating Neural Network Training with Distributed Asynchronous and
Selective Optimization (DASO) [0.0]
分散非同期および選択的最適化(DASO)手法を導入し、ネットワークトレーニングを加速します。
DASOは、ノードローカルおよびグローバルネットワークで構成される階層型および非同期通信スキームを使用する。
DASOは従来のネットワークや最先端ネットワークで最大34%のトレーニング時間を短縮できることを示す。
論文 参考訳(メタデータ) (2021-04-12T16:02:20Z) - Unsupervised Learning for Asynchronous Resource Allocation in Ad-hoc
Wireless Networks [122.42812336946756]
集約グラフニューラルネットワーク(Agg-GNN)に基づく教師なし学習手法を設計する。
アクティベーションパターンを各ノードの特徴としてモデル化し,ポリシーに基づくリソース割り当て手法を訓練することにより,非同期性を捉える。
論文 参考訳(メタデータ) (2020-11-05T03:38:36Z) - Continual learning using hash-routed convolutional neural networks [0.0]
継続的な学習は、機械学習のパラダイムをデータ中心からモデル中心へとシフトさせる可能性がある。
我々は、データを動的に流れる畳み込みユニットのグループである、ハッシュロート畳み込みニューラルネットワークを導入する。
ハッシュロートネットワークは、様々な典型的な連続学習ベンチマークにおいて優れた性能を発揮する。
論文 参考訳(メタデータ) (2020-10-09T07:48:37Z) - A Low Complexity Decentralized Neural Net with Centralized Equivalence
using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。
我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。
本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文 参考訳(メタデータ) (2020-09-29T13:08:12Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。