論文の概要: Efficient Deep Learning Board: Training Feedback Is Not All You Need

• arxiv url: http://arxiv.org/abs/2410.14743v1
• Date: Thu, 17 Oct 2024 14:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:21.568830
• Title: Efficient Deep Learning Board: Training Feedback Is Not All You Need
• Title（参考訳）: 効果的なディープラーニングボード - トレーニングのフィードバックがすべてではない
• Authors: Lina Gong, Qi Gao, Peng Li, Mingqiang Wei, Fei Wu,
• Abstract要約: 自動性能予測とコンポーネントレコメンデーションのための革新的なディープラーニングボードであるEfficientDLを提案する。 トレーニングのフィードバックがない魔法は、提案した包括的で多次元できめ細かいシステムコンポーネントデータセットから来ています。 例えば、EfficientDLはResNet50、MobileNetV3、EfficientNet-B0、MaxViT-T、Swin-B、DaViT-Tといった主流モデルとシームレスに動作する。
• 参考スコア（独自算出の注目度）: 28.910266386748525
• License:
• Abstract: Current automatic deep learning (i.e., AutoDL) frameworks rely on training feedback from actual runs, which often hinder their ability to provide quick and clear performance predictions for selecting suitable DL systems. To address this issue, we propose EfficientDL, an innovative deep learning board designed for automatic performance prediction and component recommendation. EfficientDL can quickly and precisely recommend twenty-seven system components and predict the performance of DL models without requiring any training feedback. The magic of no training feedback comes from our proposed comprehensive, multi-dimensional, fine-grained system component dataset, which enables us to develop a static performance prediction model and comprehensive optimized component recommendation algorithm (i.e., {\alpha}\b{eta}-BO search), removing the dependency on actually running parameterized models during the traditional optimization search process. The simplicity and power of EfficientDL stem from its compatibility with most DL models. For example, EfficientDL operates seamlessly with mainstream models such as ResNet50, MobileNetV3, EfficientNet-B0, MaxViT-T, Swin-B, and DaViT-T, bringing competitive performance improvements. Besides, experimental results on the CIFAR-10 dataset reveal that EfficientDL outperforms existing AutoML tools in both accuracy and efficiency (approximately 20 times faster along with 1.31% Top-1 accuracy improvement than the cutting-edge methods). Source code, pretrained models, and datasets are available at https://github.com/OpenSELab/EfficientDL.
• Abstract（参考訳）: 現在の自動ディープラーニング(AutoDL)フレームワークは、実際の実行からのフィードバックをトレーニングに依存しているため、適切なDLシステムを選択するために、迅速で明確なパフォーマンス予測を提供することができないことが多い。 そこで本稿では,自動性能予測とコンポーネントレコメンデーションのための革新的なディープラーニングボードであるEfficientDLを提案する。 効率的なDLは、訓練のフィードバックを必要とせずに、素早く正確に27のシステムコンポーネントを推奨し、DLモデルの性能を予測することができる。 これにより、静的なパフォーマンス予測モデルと包括的な最適化されたコンポーネントレコメンデーションアルゴリズム(例: {\alpha}\b{eta}-BO search)を開発し、従来の最適化検索プロセスにおいて実際にパラメータ化されたモデルを実行することへの依存を取り除くことができる。 EfficientDLのシンプルさとパワーは、ほとんどのDLモデルとの互換性に起因しています。 例えば、EfficientDLはResNet50、MobileNetV3、EfficientNet-B0、MaxViT-T、Swin-B、DaViT-Tといったメインストリームモデルとシームレスに動作する。 さらに、CIFAR-10データセットの実験結果によると、EfficientDLは既存のAutoMLツールを精度と効率の両方で上回っている(最先端の手法よりも1.31%のTop-1精度の改善とともに、約20倍高速である)。 ソースコード、事前訓練されたモデル、データセットはhttps://github.com/OpenSELab/EfficientDLで入手できる。

関連論文リスト

• Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
  フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-11T02:59:11Z)
• REP: Resource-Efficient Prompting for On-device Continual Learning [23.92661395403251]
  オンデバイス連続学習(CL)は、モデル精度と資源効率の協調最適化を実践するために必要である。 CNNベースのCLは資源効率に優れており、ViTベースのCLはモデル性能に優れていると一般的に信じられている。 本稿では,プロンプトベースのリハーサルフリー手法を特化して資源効率を向上させるREPを紹介する。
  論文  参考訳（メタデータ） (2024-06-07T09:17:33Z)
• CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
  CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。 モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
  論文  参考訳（メタデータ） (2023-12-01T08:02:16Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Slapo: A Schedule Language for Progressive Optimization of Large Deep Learning Model Training [17.556432199389615]
  Slapoは、テンソルレベルの演算子の実行をその算術的定義から切り離すスケジュール言語である。 SlapoはNVIDIA V100 GPUを8台搭載した1台のマシンで最大2.92倍のトレーニングスループットを向上できることを示す。
  論文  参考訳（メタデータ） (2023-02-16T00:34:53Z)
• LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
  機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-28T09:53:05Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• AttentionLite: Towards Efficient Self-Attention Models for Vision [9.957033392865982]
  本稿では,リソース制約のあるアプリケーションに対して,パラメータのクラスを生成・計算するための新しいフレームワークである attentionliteable を提案する。 計算量の多い教師から知識を同時蒸留でき、同時に学生モデルを1回の訓練パスで刈り取ることができる。
  論文  参考訳（メタデータ） (2020-12-21T17:54:09Z)
• SASL: Saliency-Adaptive Sparsity Learning for Neural Network Acceleration [20.92912642901645]
  そこで本稿では、さらなる最適化のために、SASL(Saliency-Adaptive Sparsity Learning)アプローチを提案する。 ResNet-50 の 49.7% の FLOP を 0.39% のトップ-1 と 0.05% のトップ-5 の精度で削減できる。
  論文  参考訳（メタデータ） (2020-03-12T16:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。