論文の概要: Training Efficiency and Robustness in Deep Learning

• arxiv url: http://arxiv.org/abs/2112.01423v1
• Date: Thu, 2 Dec 2021 17:11:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 14:10:21.886142
• Title: Training Efficiency and Robustness in Deep Learning
• Title（参考訳）: 深層学習における学習効率とロバスト性
• Authors: Fartash Faghri
• Abstract要約: ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。 より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。 トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
• 参考スコア（独自算出の注目度）: 2.6451769337566406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Learning has revolutionized machine learning and artificial intelligence, achieving superhuman performance in several standard benchmarks. It is well-known that deep learning models are inefficient to train; they learn by processing millions of training data multiple times and require powerful computational resources to process large batches of data in parallel at the same time rather than sequentially. Deep learning models also have unexpected failure modes; they can be fooled into misbehaviour, producing unexpectedly incorrect predictions. In this thesis, we study approaches to improve the training efficiency and robustness of deep learning models. In the context of learning visual-semantic embeddings, we find that prioritizing learning on more informative training data increases convergence speed and improves generalization performance on test data. We formalize a simple trick called hard negative mining as a modification to the learning objective function with no computational overhead. Next, we seek improvements to optimization speed in general-purpose optimization methods in deep learning. We show that a redundancy-aware modification to the sampling of training data improves the training speed and develops an efficient method for detecting the diversity of training signal, namely, gradient clustering. Finally, we study adversarial robustness in deep learning and approaches to achieve maximal adversarial robustness without training with additional data. For linear models, we prove guaranteed maximal robustness achieved only by appropriate choice of the optimizer, regularization, or architecture.
• Abstract（参考訳）: Deep Learningは機械学習と人工知能に革命をもたらし、いくつかの標準ベンチマークで超人的パフォーマンスを達成した。 ディープラーニングモデルは、数百万のトレーニングデータを複数回処理することで学習し、列ではなく同時に大量のデータを並列に処理するために強力な計算資源を必要とすることはよく知られている。 深層学習モデルにも予期せぬ失敗モードがあり、それらは誤った振る舞いに騙され、予期せぬ誤った予測をもたらす。 本稿では,ディープラーニングモデルの学習効率とロバスト性を改善するための手法について検討する。 視覚的な埋め込み学習の文脈では、より有益なトレーニングデータで学習を優先することで収束速度が向上し、テストデータの一般化性能が向上する。 我々は、計算オーバーヘッドのない学習対象関数の修正として、ハードネガティブマイニングと呼ばれる単純なトリックを定式化する。 次に,深層学習における汎用最適化手法における最適化速度の改善を求める。 トレーニングデータのサンプリングを冗長性に配慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性、すなわち勾配クラスタリングを検出する効率的な方法を開発した。 最後に, 深層学習における対角強靭性について検討し, 追加データによる学習を伴わずに最大対角強靭性を実現するためのアプローチを提案する。 線形モデルでは、最適化器、正規化、アーキテクチャの適切な選択によってのみ、最大ロバスト性を保証する。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Accelerating Deep Learning with Fixed Time Budget [2.190627491782159]
  本稿では,一定時間内に任意のディープラーニングモデルを学習するための効果的な手法を提案する。 提案手法はコンピュータビジョンにおける分類タスクと回帰タスクの両方において広範囲に評価される。
  論文  参考訳（メタデータ） (2024-10-03T21:18:04Z)
• Data Augmentation for Sparse Multidimensional Learning Performance Data Using Generative AI [17.242331892899543]
  学習パフォーマンスデータは、適応学習における正しい解答や問題解決の試みを記述している。 学習性能データは、適応的なアイテム選択のため、ほとんどの実世界のアプリケーションでは、非常にスパースな(80%(sim)90%の欠落)傾向にある。 本稿では,学習者のデータの分散性に対処するために,学習者のデータを拡張するための体系的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T00:25:07Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Benchmarking Learning Efficiency in Deep Reservoir Computing [23.753943709362794]
  我々は、機械学習モデルがトレーニングデータからいかに早く学習するかを測定するために、データ効率の指標とともに、ますます困難なタスクのベンチマークを導入する。 我々は、RNN、LSTM、Transformersなどの確立された逐次教師付きモデルの学習速度を、貯水池計算に基づく比較的知られていない代替モデルと比較する。
  論文  参考訳（メタデータ） (2022-09-29T08:16:52Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。