Fugu-MT 論文翻訳(概要): Efficient Asynchronize Stochastic Gradient Algorithm with Structured Data

論文の概要: Efficient Asynchronize Stochastic Gradient Algorithm with Structured Data

arxiv url: http://arxiv.org/abs/2305.08001v1
Date: Sat, 13 May 2023 20:45:27 GMT
ステータス: 処理完了
システム内更新日: 2023-05-16 18:21:40.472630
Title: Efficient Asynchronize Stochastic Gradient Algorithm with Structured Data
Title（参考訳）: 構造化データを用いた高速非同期確率勾配アルゴリズム
Authors: Zhao Song, Mingquan Ye
Abstract要約: 本研究では、入力データポイントの観点から、各イテレーションにおける計算の高速化を試みる。具体的には、2層完全に接続されたニューラルネットワークの場合、トレーニングデータに特別な特性がある場合、各イテレーションはデータ次元のサブ線形時間で完了することができる。
参考スコア（独自算出の注目度）: 19.883487404226805
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Deep learning has achieved impressive success in a variety of fields because of its good generalization. However, it has been a challenging problem to quickly train a neural network with a large number of layers. The existing works utilize the locality-sensitive hashing technique or some data structures on space partitioning to alleviate the training cost in each iteration. In this work, we try accelerating the computations in each iteration from the perspective of input data points. Specifically, for a two-layer fully connected neural network, when the training data have some special properties, e.g., Kronecker structure, each iteration can be completed in sublinear time in the data dimension.
Abstract（参考訳）: ディープラーニングは、その優れた一般化により、様々な分野で印象的な成功を収めた。しかしながら、多数のレイヤを持つニューラルネットワークを迅速にトレーニングすることは、これまでも難しい問題でした。既存の作業では、局所性に敏感なハッシュ技術や、空間分割上のデータ構造を利用して、各イテレーションのトレーニングコストを軽減する。本研究では、入力データポイントの観点から各イテレーションにおける計算の高速化を試みる。具体的には、トレーニングデータがKronecker構造のような特別な特性を持つ2層完全連結ニューラルネットワークの場合、各イテレーションはデータ次元のサブ線形時間で完了することができる。

関連論文リスト

Data Augmentations in Deep Weight Spaces [89.45272760013928]
そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
論文参考訳（メタデータ） (2023-11-15T10:43:13Z)
Memorization with neural nets: going beyond the worst case [5.662924503089369]
実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。 2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
論文参考訳（メタデータ） (2023-09-30T10:06:05Z)
Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文参考訳（メタデータ） (2022-10-21T15:56:13Z)
NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文参考訳（メタデータ） (2022-09-29T04:06:00Z)
Investigating Neural Architectures by Synthetic Dataset Design [14.317837518705302]
近年、多くの新しいニューラルネットワーク構造(アーキテクチャと層)が出現している。アドホックな合成データセットを設計することにより,各構造がネットワーク能力に与える影響を測定する手法をスケッチする。本稿では,以下の3つのネットワーク特性のそれぞれを評価するために,3つのデータセットを構築した手法について述べる。
論文参考訳（メタデータ） (2022-04-23T10:50:52Z)
Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文参考訳（メタデータ） (2021-04-03T09:08:12Z)
Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文参考訳（メタデータ） (2021-01-12T20:08:18Z)
Robustness to Missing Features using Hierarchical Clustering with Split Neural Networks [39.29536042476913]
階層的クラスタリングを用いて類似の入力特徴をクラスタリングする,単純かつ効果的な手法を提案する。本手法を一連のベンチマークデータセット上で評価し,単純な計算手法を用いても有望な改善を示す。
論文参考訳（メタデータ） (2020-11-19T00:35:08Z)
An Online Learning Algorithm for a Neuro-Fuzzy Classifier with Mixed-Attribute Data [9.061408029414455]
General Fuzzy min-max Neural Network (GFMMNN) は、データ分類のための効率的な神経ファジィシステムの一つである。本稿ではGFMMNNのための拡張オンライン学習アルゴリズムを提案する。提案手法は連続的特徴と分類的特徴の両方でデータセットを処理できる。
論文参考訳（メタデータ） (2020-09-30T13:45:36Z)
Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文参考訳（メタデータ） (2020-07-01T04:48:49Z)
Dataset Condensation with Gradient Matching [36.14340188365505]
本研究では,大規模なデータセットを,深層ニューラルネットワークをスクラッチからトレーニングするための情報的合成サンプルの小さなセットに凝縮させることを学習する,データセット凝縮という,データ効率のよい学習のためのトレーニングセット合成手法を提案する。いくつかのコンピュータビジョンベンチマークでその性能を厳格に評価し、最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2020-06-10T16:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。