論文の概要: TensAIR: Online Learning from Data Streams via Asynchronous Iterative Routing

• arxiv url: http://arxiv.org/abs/2211.10280v1
• Date: Fri, 18 Nov 2022 15:11:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 16:02:36.822753
• Title: TensAIR: Online Learning from Data Streams via Asynchronous Iterative Routing
• Title（参考訳）: TensAIR: 非同期反復ルーティングによるデータストリームからのオンライン学習
• Authors: Mauro Dalle Lucca Tosi, Vinu E. Venugopal, Martin Theobald
• Abstract要約: 我々は、データストリームからオンライン学習のためのエンドツーエンドのデータフローエンジンを提供するTensAIRを紹介します。 TensAIRはMap Reduce Joinのような一般的なデータフロー演算子をサポートし、データ並列OLトレインによって拡張され、予測されている。 本研究では,(1)ネットワーク上に展開されるワーカノード数,(2)データバッチがデータフロー演算子に届くスループットの観点から,TensAIRがほぼ線形スケールアウトを達成することを示す。
• 参考スコア（独自算出の注目度）: 1.9164932573056914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online learning (OL) from data streams is an emerging area of research that encompasses numerous challenges from stream processing, machine learning, and networking. Recent extensions of stream-processing platforms, such as Apache Kafka and Flink, already provide basic extensions for the training of neural networks in a stream-processing pipeline. However, these extensions are not scalable and flexible enough for many real-world use-cases, since they do not integrate the neural-network libraries as a first-class citizen into their architectures. In this paper, we present TensAIR, which provides an end-to-end dataflow engine for OL from data streams via a protocol to which we refer as asynchronous iterative routing. TensAIR supports the common dataflow operators, such as Map, Reduce, Join, and has been augmented by the data-parallel OL functions train and predict. These belong to the new Model operator, in which an initial TensorFlow model (either freshly initialized or pre-trained) is replicated among multiple decentralized worker nodes. Our decentralized architecture allows TensAIR to efficiently shard incoming data batches across the distributed model replicas, which in turn trigger the model updates via asynchronous stochastic gradient descent. We empirically demonstrate that TensAIR achieves a nearly linear scale-out in terms of (1) the number of worker nodes deployed in the network, and (2) the throughput at which the data batches arrive at the dataflow operators. We exemplify the versatility of TensAIR by investigating both sparse (Word2Vec) and dense (CIFAR-10) use-cases, for which we are able to demonstrate very significant performance improvements in comparison to Kafka, Flink, and Horovod. We also demonstrate the magnitude of these improvements by depicting the possibility of real-time concept drift adaptation of a sentiment analysis model trained over a Twitter stream.
• Abstract（参考訳）: データストリームからのオンライン学習(OL)は、ストリーム処理、機械学習、ネットワークといった多くの課題を含む、新たな研究分野である。 Apache KafkaやFlinkといったストリーム処理プラットフォームの最近の拡張は、ストリーム処理パイプラインでニューラルネットワークをトレーニングするための基本的な拡張をすでに提供している。 しかしながら、これらの拡張は、ニューラルネットワークライブラリを第一級市民としてアーキテクチャに統合していないため、多くの現実世界のユースケースで十分なスケーラビリティと柔軟性を持っていない。 本稿では、非同期反復ルーティングと呼ばれるプロトコルを介して、データストリームからOLのためのエンドツーエンドのデータフローエンジンを提供するTensAIRを提案する。 TensAIRはMap、Reducee、Joinといった一般的なデータフロー演算子をサポートし、データ並列OL関数のトレーニングと予測によって拡張されている。 これらは新しいModelオペレータに属し、初期TensorFlowモデル(新しく初期化または事前トレーニングされた)が複数の分散ワーカーノード間で複製される。 当社の分散アーキテクチャにより、TensAIRは分散モデルのレプリカをまたいで入ってくるデータバッチを効率的にシャードすることができ、非同期確率勾配勾配によってモデルの更新をトリガーします。 我々は,tensairが,(1)ネットワークにデプロイされたワーカノード数,(2)データバッチがデータフローオペレータに到達するスループットという観点から,ほぼ線形スケールアウトを実現することを実証する。 スパース(Word2Vec)と高密度(CIFAR-10)の両方のユースケースを調査して、TensAIRの汎用性を実証しています。 また,twitterストリーム上で訓練された感情分析モデルのリアルタイム・コンセプト・ドリフト適応の可能性を示すことで,これらの改善の大きさを示す。

関連論文リスト

• Estimating Post-Synaptic Effects for Online Training of Feed-Forward SNNs [0.27016900604393124]
  スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。 本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。 本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
  論文  参考訳（メタデータ） (2023-11-07T16:53:39Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Large Deviations for Accelerating Neural Networks Training [5.864710987890994]
  LAD改良反復訓練(LIIT)は,大規模な逸脱原理を用いたANNのための新しい訓練手法である。 LIITアプローチでは、LAD異常スコアに基づくサンプリング戦略を用いて、MTS(Modified Training Sample)を生成し、反復的に更新する。 MTSサンプルは、各クラスにおける観察のほとんどを異常に含めることで、トレーニングデータをうまく表現するように設計されている。
  論文  参考訳（メタデータ） (2023-03-02T04:14:05Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Going Deeper With Directly-Trained Larger Spiking Neural Networks [20.40894876501739]
  スパイキングニューラルネットワーク(SNN)は、バイオユースブルな情報とイベント駆動信号処理のためのコーディングを約束している。 しかし、SNNのユニークな動作モードにより、従来のネットワークよりもトレーニングが困難になる。 CIF依存型バッチ正規化法(tpladBN)を提案する。
  論文  参考訳（メタデータ） (2020-10-29T07:15:52Z)
• On the performance of deep learning models for time series classification in streaming [0.0]
  この研究は、データストリーミング分類のための様々なタイプのディープアーキテクチャのパフォーマンスを評価することである。 複数の時系列データセット上で,多層パーセプトロン,リカレント,畳み込み,時間的畳み込みニューラルネットワークなどのモデルを評価する。
  論文  参考訳（メタデータ） (2020-03-05T11:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。