論文の概要: A Novel DNN Training Framework via Data Sampling and Multi-Task
Optimization
- arxiv url: http://arxiv.org/abs/2007.01016v1
- Date: Thu, 2 Jul 2020 10:58:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 12:50:12.034108
- Title: A Novel DNN Training Framework via Data Sampling and Multi-Task
Optimization
- Title(参考訳): データサンプリングとマルチタスク最適化による新しいDNNトレーニングフレームワーク
- Authors: Boyu Zhang, A. K. Qin, Hong Pan, Timos Sellis
- Abstract要約: DNNモデルをトレーニングするための新しいフレームワークを提案する。
ランダムスプリッティングにより、総合的なトレーニングセットから複数のトレーニングセットと検証セットを生成する。
トレーニングされたすべてのモデルの中で最高のパフォーマンスを出力し、すべてのペアから検証セット全体で全体の最高のパフォーマンスを出力します。
- 参考スコア(独自算出の注目度): 7.001799696806368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional DNN training paradigms typically rely on one training set and
one validation set, obtained by partitioning an annotated dataset used for
training, namely gross training set, in a certain way. The training set is used
for training the model while the validation set is used to estimate the
generalization performance of the trained model as the training proceeds to
avoid over-fitting. There exist two major issues in this paradigm. Firstly, the
validation set may hardly guarantee an unbiased estimate of generalization
performance due to potential mismatching with test data. Secondly, training a
DNN corresponds to solve a complex optimization problem, which is prone to
getting trapped into inferior local optima and thus leads to undesired training
results. To address these issues, we propose a novel DNN training framework. It
generates multiple pairs of training and validation sets from the gross
training set via random splitting, trains a DNN model of a pre-specified
structure on each pair while making the useful knowledge (e.g., promising
network parameters) obtained from one model training process to be transferred
to other model training processes via multi-task optimization, and outputs the
best, among all trained models, which has the overall best performance across
the validation sets from all pairs. The knowledge transfer mechanism featured
in this new framework can not only enhance training effectiveness by helping
the model training process to escape from local optima but also improve on
generalization performance via implicit regularization imposed on one model
training process from other model training processes. We implement the proposed
framework, parallelize the implementation on a GPU cluster, and apply it to
train several widely used DNN models. Experimental results demonstrate the
superiority of the proposed framework over the conventional training paradigm.
- Abstract(参考訳): 従来のDNNトレーニングパラダイムは、トレーニングに使用される注釈付きデータセット、すなわち粗いトレーニングセットを特定の方法で分割することで得られる、1つのトレーニングセットと1つの検証セットに依存している。
トレーニングセットはモデルのトレーニングに使用され、検証セットはトレーニングが過度な適合を避けるために進むにつれてトレーニングモデルの一般化性能を推定するために使用される。
このパラダイムには2つの大きな問題があります。
まず、検証セットは、テストデータとの潜在的なミスマッチによる一般化性能の偏りのない推定をほとんど保証しない。
第二に、dnnの訓練は複雑な最適化問題を解決することに対応しており、これは劣る局所視光に閉じ込められやすいため、望ましくない訓練結果をもたらす。
これらの課題に対処するために,我々は新しいDNNトレーニングフレームワークを提案する。
ランダムスプリッティングにより総合トレーニングセットから複数のペアのトレーニングセットを生成し、一つのモデルトレーニングプロセスから得られた有用な知識(例えば、有望なネットワークパラメータ)をマルチタスク最適化によって他のモデルトレーニングプロセスに転送しながら、各ペアの事前指定された構造のDNNモデルを訓練し、全てのモデルの中で最高の性能を持つ訓練セットを出力する。
この新フレームワークで特徴付けられる知識伝達機構は、モデルトレーニングプロセスが局所最適から逃れるのを支援することでトレーニング効率を向上させるだけでなく、他のモデルトレーニングプロセスから1つのモデルトレーニングプロセスに課される暗黙の正規化によって一般化性能を向上させることができる。
提案するフレームワークを実装し,GPUクラスタ上での実装を並列化し,広く使用されているDNNモデルのトレーニングに適用する。
実験の結果,従来の学習パラダイムよりも優れた枠組みが得られた。
関連論文リスト
- Marrying Adapters and Mixup to Efficiently Enhance the Adversarial
Robustness of Pre-Trained Language Models for Text Classification [10.92854604130632]
ニューラルネットワークのトレーニングデータをクリーン例と逆例の両方を用いて強化することで、敵攻撃時の一般化性を高めることができることを示す。
本研究では,(1)パラメータ効率の良い微調整が可能なアダプタと,(2)ペアのデータペアの凸結合によるNNのトレーニングを行うMixupの2つの概念を組み合わせる。
実験により,本手法は,攻撃と無攻撃の双方において,訓練効率と予測性能の最良のトレードオフを実現することを示す。
論文 参考訳(メタデータ) (2024-01-18T16:27:18Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - An Emulator for Fine-Tuning Large Language Models using Small Language
Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。
EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。
最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文 参考訳(メタデータ) (2023-10-19T17:57:16Z) - Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。
ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。
本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
論文 参考訳(メタデータ) (2023-03-20T15:10:41Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳(メタデータ) (2022-07-06T13:06:31Z) - Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness
and Accuracy for Free [115.81899803240758]
敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。
本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。
提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
論文 参考訳(メタデータ) (2020-10-22T16:06:34Z) - Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。
プレトレーニング自体が多様性の優れた源であることが示される。
本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-14T07:59:00Z) - A Practical Incremental Method to Train Deep CTR Models [37.54660958085938]
本稿では,3つの分離モジュールからなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。
提案手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。
論文 参考訳(メタデータ) (2020-09-04T12:35:42Z) - A Novel Training Protocol for Performance Predictors of Evolutionary
Neural Architecture Search Algorithms [10.658358586764171]
進化的ニューラルネットワーク探索(ENAS)は、進化的計算アルゴリズムを用いてディープニューラルネットワーク(DNN)のアーキテクチャを自動的に設計することができる。
性能予測器は、計算資源を多く必要とせず、探索を補助できる回帰モデルの一種である。
本稿では,これらの課題に対処する新たなトレーニングプロトコルを提案する。トレーニングターゲットを構築するためのペアワイズランキングインジケータを設計し,ロジスティック回帰を用いてトレーニングサンプルに適合させ,トレーニングインスタンスを構築するための差分法を開発することを提案する。
論文 参考訳(メタデータ) (2020-08-30T14:39:28Z) - PrIU: A Provenance-Based Approach for Incrementally Updating Regression
Models [9.496524884855559]
本稿では,予測精度を犠牲にすることなく,モデルパラメータを漸進的に更新する手法PrIUを提案する。
漸進的に更新されたモデルパラメータの正しさと収束性を証明し、実験的に検証する。
実験結果から, PrIU-optはスクラッチからモデルを再トレーニングするのに対して, 非常に類似したモデルを得るよりも, 最大2桁のスピードアップを達成できることがわかった。
論文 参考訳(メタデータ) (2020-02-26T21:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。