論文の概要: An Empirical Deep Dive into Deep Learning's Driving Dynamics

• arxiv url: http://arxiv.org/abs/2207.12547v1
• Date: Mon, 25 Jul 2022 21:45:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-27 13:05:39.244627
• Title: An Empirical Deep Dive into Deep Learning's Driving Dynamics
• Title（参考訳）: 深層学習の運転ダイナミクスに関する経験的深層的考察
• Authors: Charles Edison Tripp, Jordan Perr-Sauer, Lucas Hayne, Monte Lunacek
• Abstract要約: 完全接続ネットワーク上でのディープラーニング現象を探索する実験データセットを提案する。 データセットは128万のハイパーパラメータ設定を調査し、それぞれ平均20回繰り返し、合計350万のトレーニング実行と、観察された1310億のトレーニングエポックのそれぞれのパフォーマンス指標20である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an empirical dataset surveying the deep learning phenomenon on fully-connected networks, encompassing the training and test performance of numerous network topologies, sweeping across multiple learning tasks, depths, numbers of free parameters, learning rates, batch sizes, and regularization penalties. The dataset probes 178 thousand hyperparameter settings with an average of 20 repetitions each, totaling 3.5 million training runs and 20 performance metrics for each of the 13.1 billion training epochs observed. Accumulating this 671 GB dataset utilized 5,448 CPU core-years, 17.8 GPU-years, and 111.2 node-years. Additionally, we provide a preliminary analysis revealing patterns which persist across learning tasks and topologies. We aim to inspire work empirically studying modern machine learning techniques as a catalyst for the theoretical discoveries needed to progress the field beyond energy-intensive and heuristic practices.
• Abstract（参考訳）: 本稿では,完全接続ネットワーク上での深層学習現象を調査し,多数のネットワークトポロジのトレーニングとテスト性能,複数の学習タスク,奥行き,自由パラメータ数,学習率,バッチサイズ,正規化ペナルティを網羅した実験データセットを提案する。 データセットは128万のハイパーパラメータ設定を調査し、それぞれ平均20回繰り返し、合計350万のトレーニング実行と、観察された1310億のトレーニングエポックのそれぞれのパフォーマンス指標20である。 この671GBデータセットの蓄積は、CPUコア年5,448、GPU年17.8、ノード年111.2を使用する。 さらに,学習課題やトポロジにまたがるパターンを明らかにする予備分析を行った。 我々は、エネルギー集約的かつヒューリスティックな実践を超えて分野を前進させるために必要な理論的発見の触媒として、現代の機械学習技術を実証的に研究することを目指している。

関連論文リスト

• Differentiable architecture search with multi-dimensional attention for spiking neural networks [4.318876451929319]
  スパイキングニューラルネットワーク(SNN)は人工知能の分野で大きな人気を集めている。 SNN法の大部分は、ニューラルネットワーク(ANN)の構造を直接継承している。 本稿では,SNNの最適ネットワーク構造探索を直接自動化するために,MA-DARTS(Multi-Attention Differentiable Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2024-11-01T07:18:32Z)
• Scaling Wearable Foundation Models [54.93979158708164]
  センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。 最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。 この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
  論文  参考訳（メタデータ） (2024-10-17T15:08:21Z)
• TENNs-PLEIADES: Building Temporal Kernels with Orthogonal Polynomials [1.1970409518725493]
  低レイテンシでオンライン分類と検出を行うために、これらのネットワークをイベントベースのデータで相互接続することに重点を置いている。 我々は3つのイベントベースのベンチマークを実験し、メモリと計算コストを大幅に削減した大きなマージンで3つすべてに対して最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-05-20T17:06:24Z)
• Spanning Training Progress: Temporal Dual-Depth Scoring (TDDS) for Enhanced Dataset Pruning [50.809769498312434]
  我々は、時間的デュアルディープス・スコーリング(TDDS)と呼ばれる新しいデータセット・プルーニング手法を提案する。 本手法は,10%のトレーニングデータで54.51%の精度を達成し,ランダム選択を7.83%以上,他の比較手法を12.69%以上上回る結果を得た。
  論文  参考訳（メタデータ） (2023-11-22T03:45:30Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• Exploiting Sparsity in Pruned Neural Networks to Optimize Large Model Training [1.5301777464637454]
  並列深層学習のための2つの一般的なアルゴリズムにおいて,スパースワークを利用してメモリ利用と通信を最適化する手法を提案する。 我々は、並列ディープラーニングのための高度にスケーラブルなフレームワークであるAxoNNにアプローチを統合し、通信時間とメモリ使用量の削減を実証する。
  論文  参考訳（メタデータ） (2023-02-10T04:22:25Z)
• Accelerating Domain-aware Deep Learning Models with Distributed Training [0.8164433158925593]
  モデル性能を改善したドメイン固有知識を利用した分散ドメイン認識ネットワークを提案する。 以上の結果から,最大4.1倍の速さで流出口の流出ピークを効果的に予測した。 提案手法は全体の12.6倍の高速化を実現し,平均予測性能は16%向上した。
  論文  参考訳（メタデータ） (2023-01-25T22:59:47Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Predicting Neural Network Accuracy from Weights [25.73213712719546]
  トレーニングされたニューラルネットワークの精度は、その重みだけを見て驚くほど正確に予測できることを実験的に示す。 この分野のさらなる研究を促進するために、4つの異なるデータセットでトレーニングされた120kの畳み込みニューラルネットワークのコレクションをリリースする。
  論文  参考訳（メタデータ） (2020-02-26T13:06:14Z)
• Deep Learning based Pedestrian Inertial Navigation: Methods, Dataset and On-Device Inference [49.88536971774444]
  慣性測定ユニット(IMU)は小型で安価でエネルギー効率が良く、スマートデバイスや移動ロボットに広く使われている。 正確で信頼性の高い歩行者ナビゲーションをサポートするために慣性データをエクスプロイトすることは、新しいインターネット・オブ・シングス・アプリケーションやサービスにとって重要なコンポーネントである。 我々は、深層学習に基づく慣性ナビゲーション研究のための最初の公開データセットであるOxIOD(OxIOD)を提示、リリースする。
  論文  参考訳（メタデータ） (2020-01-13T04:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。