論文の概要: Deep Learning Training Procedure Augmentations
- arxiv url: http://arxiv.org/abs/2211.14395v1
- Date: Fri, 25 Nov 2022 22:31:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 14:45:24.288360
- Title: Deep Learning Training Procedure Augmentations
- Title（参考訳）: ディープラーニングトレーニング手順の強化
- Authors: Cristian Simionescu
- Abstract要約: 近年のディープラーニングの進歩は、オブジェクト検出、画像分割、感情分析など、さまざまなタスクのパフォーマンスを大幅に改善している。
これは大きな成果をもたらしたが、その多くは現実世界のアプリケーションでは、ディープラーニングの他の関連する側面は無視され、不明である。
優れた性能を発揮できる一方で、収束速度、最適化ランドスケープ、対向ロバスト性に関する興味深い分析結果も提示する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Deep Learning have greatly improved performance on various
tasks such as object detection, image segmentation, sentiment analysis. The
focus of most research directions up until very recently has been on beating
state-of-the-art results. This has materialized in the utilization of bigger
and bigger models and techniques which help the training procedure to extract
more predictive power out of a given dataset. While this has lead to great
results, many of which with real-world applications, other relevant aspects of
deep learning have remained neglected and unknown. In this work, we will
present several novel deep learning training techniques which, while capable of
offering significant performance gains they also reveal several interesting
analysis results regarding convergence speed, optimization landscape
smoothness, and adversarial robustness. The methods presented in this work are
the following:
$\bullet$ Perfect Ordering Approximation; a generalized model agnostic
curriculum learning approach. The results show the effectiveness of the
technique for improving training time as well as offer some new insight into
the training process of deep networks.
$\bullet$ Cascading Sum Augmentation; an extension of mixup capable of
utilizing more data points for linear interpolation by leveraging a smoother
optimization landscape. This can be used for computer vision tasks in order to
improve both prediction performance as well as improve passive model
robustness.
- Abstract（参考訳）: 近年のディープラーニングの進歩は、オブジェクト検出、画像分割、感情分析など、さまざまなタスクのパフォーマンスを大幅に改善している。
最近まで、ほとんどの研究方向の焦点は最先端の成果を上回ることだった。
これは、トレーニング手順が与えられたデータセットからより予測力を引き出すのに役立つ、より大きくて大きなモデルとテクニックの利用を現実化した。
これは大きな成果をもたらしたが、その多くは現実世界のアプリケーションでは、ディープラーニングの他の関連する側面は無視され、不明である。
本研究では,優れた性能向上を提供することができる一方で,収束速度,景観のスムーズさ,対向ロバスト性などに関する興味深い分析結果も提示する。
この研究で示された方法は以下の通りである: $\bullet$ Perfect Ordering Approximation; 一般化されたモデル非依存のカリキュラム学習アプローチ。
以上の結果から,深層ネットワークのトレーニングプロセスに対する新たな洞察を提供するとともに,トレーニング時間を改善するための手法の有効性を示す。
$\bullet$ Cascading Sum Augmentation; よりスムーズな最適化環境を活用することで、線形補間により多くのデータポイントを活用することができるmixupの拡張。
これは、予測性能を改善し、受動的モデルの堅牢性を改善するために、コンピュータビジョンタスクに使用できる。
関連論文リスト
- Efficient Human Pose Estimation: Leveraging Advanced Techniques with MediaPipe [5.439359582541082]
本研究では,MediaPipeフレームワークを用いた人間のポーズ推定の大幅な向上について述べる。
この研究は精度、計算効率、リアルタイム処理能力の改善に焦点を当てている。
この進歩は、拡張現実、スポーツ分析、ヘルスケアに幅広く応用されている。
論文 参考訳（メタデータ） (2024-06-21T21:00:45Z) - Accelerating Neural Network Training: A Brief Review [0.5825410941577593]
本研究では,ディープニューラルネットワーク(DNN)の学習過程を高速化するための革新的なアプローチについて検討する。
この研究は、グラディエント累積(GA)、自動混合精度(AMP)、ピンメモリ(PM)などの高度な手法を利用する。
論文 参考訳（メタデータ） (2023-12-15T18:43:45Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳（メタデータ） (2023-08-27T03:55:28Z) - Improving Pre-Trained Weights Through Meta-Heuristics Fine-Tuning [0.0]
我々は,メタヒューリスティックな手法を用いて,事前訓練した重量を微調整することを提案する。
実験結果から,事前学習した重みの近傍を探索する自然に触発されたアルゴリズムの能力が示された。
論文 参考訳（メタデータ） (2022-12-19T13:40:26Z) - Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。
より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。
トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
論文 参考訳（メタデータ） (2021-12-02T17:11:33Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Efficient Deep Learning: A Survey on Making Deep Learning Models
Smaller, Faster, and Better [0.0]
ディープラーニングモデルの進歩的な改善により、パラメータの数、レイテンシ、トレーニングに必要なリソースなどが大幅に増加した。
深層学習における効率性の問題の提示と動機付けを行い,続いてモデル効率の5つの中核領域を徹底的に調査した。
これは、モデリング技術からハードウェアサポートまで、モデル効率のランドスケープをカバーした、効率的なディープラーニング分野における初めての総合的な調査であると考えています。
論文 参考訳（メタデータ） (2021-06-16T17:31:38Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳（メタデータ） (2020-04-28T09:15:50Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳（メタデータ） (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。