論文の概要: DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning

• arxiv url: http://arxiv.org/abs/2302.13020v2
• Date: Thu, 14 Dec 2023 06:26:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-16 05:20:47.356738
• Title: DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning
• Title（参考訳）: DCLP: カリキュラムコントラスト学習を用いたニューラルアーキテクチャ予測器
• Authors: Shenghe Zheng, Hongzhi Wang, Tianyu Mu
• Abstract要約: ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。 本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。 我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
• 参考スコア（独自算出の注目度）: 5.2319020651074215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural predictors have shown great potential in the evaluation process of neural architecture search (NAS). However, current predictor-based approaches overlook the fact that training a predictor necessitates a considerable number of trained neural networks as the labeled training set, which is costly to obtain. Therefore, the critical issue in utilizing predictors for NAS is to train a high-performance predictor using as few trained neural networks as possible. Although some methods attempt to address this problem through unsupervised learning, they often result in inaccurate predictions. We argue that the unsupervised tasks intended for the common graph data are too challenging for neural networks, causing unsupervised training to be susceptible to performance crashes in NAS. To address this issue, we propose a Curricumum-guided Contrastive Learning framework for neural Predictor (DCLP). Our method simplifies the contrastive task by designing a novel curriculum to enhance the stability of unlabeled training data distribution during contrastive training. Specifically, we propose a scheduler that ranks the training data according to the contrastive difficulty of each data and then inputs them to the contrastive learner in order. This approach concentrates the training data distribution and makes contrastive training more efficient. By using our method, the contrastive learner incrementally learns feature representations via unsupervised data on a smooth learning curve, avoiding performance crashes that may occur with excessively variable training data distributions. We experimentally demonstrate that DCLP has high accuracy and efficiency compared with existing predictors, and shows promising potential to discover superior architectures in various search spaces when combined with search strategies. Our code is available at: https://github.com/Zhengsh123/DCLP.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(nas)の評価プロセスにおいて、ニューラル・予測器は大きな可能性を秘めている。 しかし、現在の予測器ベースのアプローチでは、予測器のトレーニングがラベル付きトレーニングセットとしてかなりの数のトレーニングニューラルネットワークを必要とするという事実を見落としている。 したがって、NASの予測子を利用する際の重要な問題は、可能な限り少ないトレーニングニューラルネットワークを使用して高性能な予測子を訓練することである。 いくつかの手法は教師なし学習を通じてこの問題に対処しようとするが、しばしば不正確な予測をもたらす。 我々は、共通のグラフデータのために意図された教師なしタスクはニューラルネットワークにとって難しすぎるため、教師なしトレーニングはNASのパフォーマンスクラッシュの影響を受けやすいと主張している。 この問題に対処するために,ニューラル予測器(DCLP)のためのカリキュラム誘導コントラスト学習フレームワークを提案する。 本手法は,新しいカリキュラムをデザインし,コントラストトレーニング中のラベルなしトレーニングデータ分布の安定性を高めることで,コントラストタスクを単純化する。 具体的には、各データのコントラスト的難易度に応じてトレーニングデータをランク付けし、コントラスト的学習者に順番に入力するスケジューラを提案する。 このアプローチは、トレーニングデータ分散に集中し、コントラストトレーニングをより効率的にする。 提案手法を用いることで,教師なしデータを用いて特徴表現を漸進的に学習し,過度に可変なトレーニングデータ分布で発生する可能性のあるパフォーマンスクラッシュを回避する。 実験により,DCLPは既存の予測器と比較して高い精度と効率性を示し,検索戦略と組み合わせることで,様々な検索空間における優れたアーキテクチャを発見する可能性を示す。 私たちのコードは、https://github.com/Zhengsh123/DCLPで利用可能です。

関連論文リスト

• Training Better Deep Learning Models Using Human Saliency [11.295653130022156]
  本研究では、画像の正常領域に関する人間の判断が、ディープ畳み込みニューラルネットワーク(DCNN)トレーニングにどのように導入できるかを考察する。 本稿では,ConveYs Brain Oversight to raise Generalization (CYBORG) における損失関数の新たな構成要素を提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:52:44Z)
• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Cascade Bagging for Accuracy Prediction with Few Training Samples [8.373420721376739]
  少数のトレーニングサンプルの下で精度予測器を訓練するための新しいフレームワークを提案する。 このフレームワークは、データ拡張方法とアンサンブル学習アルゴリズムからなる。
  論文  参考訳（メタデータ） (2021-08-12T09:10:52Z)
• Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
  自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。 ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。 分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
  論文  参考訳（メタデータ） (2021-01-21T17:17:30Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。