論文の概要: Learning Without a Global Clock: Asynchronous Learning in a Physics-Driven Learning Network

• arxiv url: http://arxiv.org/abs/2201.04626v1
• Date: Mon, 10 Jan 2022 05:38:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-14 15:10:46.820361
• Title: Learning Without a Global Clock: Asynchronous Learning in a Physics-Driven Learning Network
• Title（参考訳）: グローバルクロックのない学習:物理駆動学習ネットワークにおける非同期学習
• Authors: Jacob F Wycoff, Sam Dillavou, Menachem Stern, Andrea J Liu, Douglas J Durian
• Abstract要約: 学習過程の非同期化は、理想的なシミュレーションにおいて、様々なタスクのパフォーマンスを劣化させるものではないことを示す。 我々は、勾配降下における非同期性とミニバッチの類似性を示し、それらが学習過程に類似した影響を示す。
• 参考スコア（独自算出の注目度）: 1.3124513975412255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a neuron network, synapses update individually using local information, allowing for entirely decentralized learning. In contrast, elements in an artificial neural network (ANN) are typically updated simultaneously using a central processor. Here we investigate the feasibility and effect of asynchronous learning in a recently introduced decentralized, physics-driven learning network. We show that desynchronizing the learning process does not degrade performance for a variety of tasks in an idealized simulation. In experiment, desynchronization actually improves performance by allowing the system to better explore the discretized state space of solutions. We draw an analogy between asynchronicity and mini-batching in stochastic gradient descent, and show that they have similar effects on the learning process. Desynchronizing the learning process establishes physics-driven learning networks as truly fully distributed learning machines, promoting better performance and scalability in deployment.
• Abstract（参考訳）: ニューロンネットワークでは、シナプスはローカル情報を使用して個別に更新され、完全に分散学習が可能である。 対照的に、ニューラルネットワーク(ann)の要素は通常、中央プロセッサを使用して同時に更新される。 本稿では,最近導入された分散物理駆動学習ネットワークにおける非同期学習の実現可能性と効果について検討する。 学習過程の非同期化は、理想的なシミュレーションにおいて、様々なタスクのパフォーマンスを劣化させるものではないことを示す。 実験では、非同期化は、システムが解の離散化された状態空間をよりよく探索できるようにすることで、実際にパフォーマンスを向上させる。 確率的勾配降下における非同期性とミニバッチングの類似性を示し,学習過程に類似した影響を示す。 学習プロセスの同期化は、物理駆動学習ネットワークを真の完全な分散学習マシンとして確立し、より良いパフォーマンスとデプロイメントのスケーラビリティを促進する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Overcoming the Limitations of Layer Synchronization in Spiking Neural Networks [0.11522790873450185]
  真に非同期なシステムでは、すべてのニューロンが閾値を同時に評価し、シナプス前電流を受けるとスパイクを発生させることができる。 本稿では,ネットワーク同期を実装したシミュレーション環境において,この問題を3つのデータセットで文書化し,定量化する。 レイヤ同期で訓練されたモデルは、同期がない場合にサブ最適に実行するか、エネルギーと遅延の低減の恩恵を受けないことを示す。
  論文  参考訳（メタデータ） (2024-08-09T14:39:23Z)
• DRACO: Decentralized Asynchronous Federated Learning over Continuous Row-Stochastic Network Matrices [7.389425875982468]
  DRACOは、行確率ゴシップ無線ネットワーク上での分散非同期Descent(SGD)の新しい手法である。 我々のアプローチは、分散ネットワーク内のエッジデバイスが、連続したタイムラインに沿ってローカルトレーニングとモデル交換を行うことを可能にする。 我々の数値実験は提案手法の有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-06-19T13:17:28Z)
• Neuromorphic dreaming: A pathway to efficient learning in artificial agents [2.6542148964152923]
  本稿では、混合信号アナログ/デジタルニューロモルフィックハードウェア上でのスパイキングニューラルネットワーク(SNN)を用いたモデルベース強化学習(MBRL)のハードウェア実装について述べる。 このアプローチは、高サンプリング効率を実現しつつ、混合信号ニューロモルフィックチップのエネルギー効率を活用する。 我々は、ハードウェア実装をトレーニングして、AtariゲームPongをプレイすることで、モデルを検証する。
  論文  参考訳（メタデータ） (2024-05-24T15:03:56Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Asynchronous Reinforcement Learning for Real-Time Control of Physical Robots [2.3061446605472558]
  学習更新が高価である場合には、逐次学習のパフォーマンスが低下し、非同期学習により大幅に向上することを示す。 われわれのシステムは2時間以内に、リアルタイムで学習し、2時間以内にピクセルから視覚的目標に到達し、追跡する。
  論文  参考訳（メタデータ） (2022-03-23T23:05:28Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO) [0.0]
  分散非同期および選択的最適化(DASO)手法を導入し、ネットワークトレーニングを加速します。 DASOは、ノードローカルおよびグローバルネットワークで構成される階層型および非同期通信スキームを使用する。 DASOは従来のネットワークや最先端ネットワークで最大34%のトレーニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:02:20Z)
• Unsupervised Learning for Asynchronous Resource Allocation in Ad-hoc Wireless Networks [122.42812336946756]
  集約グラフニューラルネットワーク(Agg-GNN)に基づく教師なし学習手法を設計する。 アクティベーションパターンを各ノードの特徴としてモデル化し,ポリシーに基づくリソース割り当て手法を訓練することにより,非同期性を捉える。
  論文  参考訳（メタデータ） (2020-11-05T03:38:36Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。