論文の概要: Accelerating Deep Learning with Fixed Time Budget

• arxiv url: http://arxiv.org/abs/2410.03790v1
• Date: Thu, 3 Oct 2024 21:18:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 16:20:48.023741
• Title: Accelerating Deep Learning with Fixed Time Budget
• Title（参考訳）: 固定時間予算によるディープラーニングの高速化
• Authors: Muhammad Asif Khan, Ridha Hamila, Hamid Menouar,
• Abstract要約: 本稿では,一定時間内に任意のディープラーニングモデルを学習するための効果的な手法を提案する。 提案手法はコンピュータビジョンにおける分類タスクと回帰タスクの両方において広範囲に評価される。
• 参考スコア（独自算出の注目度）: 2.190627491782159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of modern deep learning is attributed to two key elements: huge amounts of training data and large model sizes. Where a vast amount of data allows the model to learn more features, the large model architecture boosts the learning capability of the model. However, both these factors result in prolonged training time. In some practical applications such as edge-based learning and federated learning, limited-time budgets necessitate more efficient training methods. This paper proposes an effective technique for training arbitrary deep learning models within fixed time constraints utilizing sample importance and dynamic ranking. The proposed method is extensively evaluated in both classification and regression tasks in computer vision. The results consistently show clear gains achieved by the proposed method in improving the learning performance of various state-of-the-art deep learning models in both regression and classification tasks.
• Abstract（参考訳）: 現代のディープラーニングの成功は、膨大なトレーニングデータと大規模なモデルサイズという2つの重要な要素に起因している。 膨大な量のデータによってモデルがより多くの機能を学ぶことができる場合、大きなモデルアーキテクチャはモデルの学習能力を高める。 しかし、これら2つの要因は訓練時間を延ばすことになる。 エッジベース学習やフェデレーション学習のような実践的な応用では、限られた時間予算はより効率的な訓練方法を必要とする。 本稿では,サンプルの重要度と動的ランキングを利用して,一定の時間制約内で任意のディープラーニングモデルを学習するための効果的な手法を提案する。 提案手法はコンピュータビジョンにおける分類タスクと回帰タスクの両方において広範囲に評価される。 提案手法は, 回帰処理と分類処理の両方において, 様々な最先端ディープラーニングモデルの学習性能を向上させるために, 提案手法が達成した成果を一貫して示す。

関連論文リスト

• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Strategies and impact of learning curve estimation for CNN-based image classification [0.2678472239880052]
  学習曲線は、一定の量のトレーニングデータによって機械学習モデルのパフォーマンスが向上する尺度である。 様々な応用やモデルにおいて、学習曲線は ― 大部分が ― 権力法的な行動に従うことが観察された。 モデルの学習曲線を、データの小さなサブセットでのトレーニングから推定することにより、完全なデータセットでのトレーニングに最適なモデルのみを考慮する必要がある。
  論文  参考訳（メタデータ） (2023-10-12T16:28:25Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)
• From Actions to Events: A Transfer Learning Approach Using Improved Deep Belief Networks [1.0554048699217669]
  本稿では,エネルギーモデルを用いた行動認識からイベント認識への知識マッピング手法を提案する。 このようなモデルはすべてのフレームを同時に処理し、学習プロセスを通じて空間的および時間的情報を運ぶことができる。
  論文  参考訳（メタデータ） (2022-11-30T14:47:10Z)
• Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
  ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。 より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。 トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
  論文  参考訳（メタデータ） (2021-12-02T17:11:33Z)
• Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
  インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。 私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。 CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
  論文  参考訳（メタデータ） (2021-03-12T00:54:22Z)
• A Practical Incremental Method to Train Deep CTR Models [37.54660958085938]
  本稿では,3つの分離モジュールからなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。 提案手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。
  論文  参考訳（メタデータ） (2020-09-04T12:35:42Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。