Fugu-MT 論文翻訳(概要): Cold Start Streaming Learning for Deep Networks

論文の概要: Cold Start Streaming Learning for Deep Networks

arxiv url: http://arxiv.org/abs/2211.04624v1
Date: Wed, 9 Nov 2022 00:53:19 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 16:40:44.399648
Title: Cold Start Streaming Learning for Deep Networks
Title（参考訳）: ディープネットワークのためのコールドスタートストリーミング学習
Authors: Cameron R. Wolfe and Anastasios Kyrillidis
Abstract要約: Cold Start Streaming Learning (CSSL)は、ディープネットワークによるストリーミング学習のための、シンプルなエンドツーエンドのアプローチである。実験では、CSSLが既存のストリーミング学習のベースラインを上回っていることがわかった。
参考スコア（独自算出の注目度）: 13.452510519858995
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The ability to dynamically adapt neural networks to newly-available data without performance deterioration would revolutionize deep learning applications. Streaming learning (i.e., learning from one data example at a time) has the potential to enable such real-time adaptation, but current approaches i) freeze a majority of network parameters during streaming and ii) are dependent upon offline, base initialization procedures over large subsets of data, which damages performance and limits applicability. To mitigate these shortcomings, we propose Cold Start Streaming Learning (CSSL), a simple, end-to-end approach for streaming learning with deep networks that uses a combination of replay and data augmentation to avoid catastrophic forgetting. Because CSSL updates all model parameters during streaming, the algorithm is capable of beginning streaming from a random initialization, making base initialization optional. Going further, the algorithm's simplicity allows theoretical convergence guarantees to be derived using analysis of the Neural Tangent Random Feature (NTRF). In experiments, we find that CSSL outperforms existing baselines for streaming learning in experiments on CIFAR100, ImageNet, and Core50 datasets. Additionally, we propose a novel multi-task streaming learning setting and show that CSSL performs favorably in this domain. Put simply, CSSL performs well and demonstrates that the complicated, multi-step training pipelines adopted by most streaming methodologies can be replaced with a simple, end-to-end learning approach without sacrificing performance.
Abstract（参考訳）: ニューラルネットワークを新たに使用可能なデータに動的に適応させる能力は、ディープラーニングアプリケーションに革命をもたらす。ストリーミング学習(つまり、あるデータ例から一度に学習する)は、そのようなリアルタイム適応を可能にする可能性があるが、現在のアプローチ一ストリーミング中にネットワークパラメータの大部分を凍結すること i) 大規模なデータサブセットに対するオフラインのベース初期化手順に依存するため、パフォーマンスが損なわれ、適用性が制限される。これらの欠点を軽減するために,我々は,リプレイとデータ拡張を組み合わせた深層ネットワークによるストリーミング学習のための,シンプルなエンドツーエンドアプローチであるCold Start Streaming Learning (CSSL)を提案する。 CSSLはストリーミング中にすべてのモデルパラメータを更新するため、アルゴリズムはランダムな初期化からストリーミングを開始することができ、ベースの初期化を任意にすることができる。さらに、アルゴリズムの単純さは、ニューラルネットワークの接ランダム特徴(ntrf)の分析を用いて理論的収束保証を導出することを可能にする。実験では、CIFAR100、ImageNet、Core50データセットの実験において、CSSLが既存のストリーミング学習のベースラインよりも優れています。さらに,新しいマルチタスクストリーミング学習環境を提案し,この領域でCSSLが良好に動作することを示す。簡単に言うと、CSSLはうまく機能し、ほとんどのストリーミング手法で採用されている複雑なマルチステップのトレーニングパイプラインが、パフォーマンスを犠牲にすることなく、シンプルなエンドツーエンドの学習アプローチに置き換えられることを示した。

関連論文リスト

Streaming Deep Reinforcement Learning Finally Works [6.106447284305318]
ストリーミング学習は、リソース制限、通信制限、プライバシに敏感なアプリケーションに理想的だ。深いRLでは、学習者はたいてい、バッチ更新とバッファの再生を使い、計算コストが高く、ストリーミング学習と互換性がない。本稿では,バッチRLの予測と制御の両面において,ストリームバリアを克服し,サンプル効率にマッチするストリーム-xアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-10-18T17:00:29Z)
A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文参考訳（メタデータ） (2024-09-18T14:57:13Z)
Simplifying Deep Temporal Difference Learning [3.458933902627673]
安定性を維持しつつ,TDトレーニングの高速化と簡易化が可能であるかを検討する。我々の重要な理論的結果は、LayerNormのような正規化技術が証明可能な収束性TDアルゴリズムが得られることを初めて示している。これらの結果に触発され,より簡易なオンラインQ-LearningアルゴリズムであるPQNを提案する。
論文参考訳（メタデータ） (2024-07-05T18:49:07Z)
Streaming Active Learning with Deep Neural Networks [44.50018541065145]
ストリーミング設定において,ディープニューラルネットワークを用いたバッチアクティブ学習のための新しいアルゴリズムであるVeSSALを提案する。 VeSSALは、ラベルに遭遇した時点でクエリするポイントのグループをサンプリングする。我々は、ディープニューラルネットワークの適用性を、現実的なアクティブな学習シナリオに拡張する。
論文参考訳（メタデータ） (2023-03-05T00:57:28Z)
Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文参考訳（メタデータ） (2022-09-30T15:15:05Z)
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文参考訳（メタデータ） (2022-02-21T13:25:03Z)
Boosting Federated Learning in Resource-Constrained Networks [1.7010199949406575]
フェデレートラーニング(FL)は、一連のクライアントデバイスが、生データを共有せずに協調的にモデルをトレーニングすることを可能にする。推測学習アルゴリズムであるGeLを提案する。資源制約ネットワークにおいて,GeLは経験的収束を最大40%向上させることができることを示す。
論文参考訳（メタデータ） (2021-10-21T21:23:04Z)
Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文参考訳（メタデータ） (2020-11-16T08:24:34Z)
Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文参考訳（メタデータ） (2020-02-22T14:38:11Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。