論文の概要: DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning

• arxiv url: http://arxiv.org/abs/2302.13020v1
• Date: Sat, 25 Feb 2023 08:16:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 19:25:35.759030
• Title: DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning
• Title（参考訳）: DCLP: カリキュラムコントラスト学習を用いたニューラルアーキテクチャ予測器
• Authors: Shenghe Zheng, Hongzhi Wang, Tianyu Mu
• Abstract要約: 我々は、DCLPと呼ばれるニューラル予測器のためのカリキュラム学習指導を伴う対照的な学習フレームワークを導入する。 実験により,DCLPの精度と効率性が向上し,複数の検索空間において優れたアーキテクチャを発見できることを示す。
• 参考スコア（独自算出の注目度）: 4.855689194518907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural predictors currently show great potential in the performance evaluation phase of neural architecture search (NAS). Despite their efficiency in the evaluation process, it is challenging to train the predictor with fewer architecture evaluations for efficient NAS. However, most of the current approaches are more concerned with improving the structure of the predictor to solve this problem, while the full use of the information contained in unlabeled data is less explored. To address this issue, we introduce a contrastive learning framework with curriculum learning guidance for the neural predictor called DCLP. To be specific, we develop a plan for the training order of positive samples during pre-training through the proposed difficulty measurer and training scheduler, and utilize the contrastive learner to learn representations of data. Compared with existing predictors, we experimentally demonstrate that DCLP has high accuracy and efficiency, and also shows an encouraging ability to discover superior architectures in multiple search spaces when combined with search strategies.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(nas)の性能評価フェーズにおいて、現在ニューラル・予測器は大きな可能性を秘めている。 評価プロセスにおける効率性にもかかわらず、効率的なnasのためのアーキテクチャ評価の少ない予測器を訓練することは困難である。 しかしながら、現在のアプローチのほとんどは、この問題を解決するために予測器の構造を改善することに関心があるが、ラベルなしデータに含まれる情報の完全な利用は、あまり調査されていない。 この問題に対処するために,DCLPと呼ばれるニューラル予測器のカリキュラム学習指導を用いたコントラスト学習フレームワークを導入する。 具体的には,提案した難易度測定器とトレーニングスケジューラを用いて事前学習中の正のサンプルの訓練順序を計画し,コントラスト学習器を用いてデータの表現を学習する。 既存の予測器と比較して,dclpは高い精度と効率性を示し,検索戦略と組み合わせた複数の検索空間において優れたアーキテクチャを探索する能力を示す。

関連論文リスト

• Training Better Deep Learning Models Using Human Saliency [11.295653130022156]
  本研究では、画像の正常領域に関する人間の判断が、ディープ畳み込みニューラルネットワーク(DCNN)トレーニングにどのように導入できるかを考察する。 本稿では,ConveYs Brain Oversight to raise Generalization (CYBORG) における損失関数の新たな構成要素を提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:52:44Z)
• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Cascade Bagging for Accuracy Prediction with Few Training Samples [8.373420721376739]
  少数のトレーニングサンプルの下で精度予測器を訓練するための新しいフレームワークを提案する。 このフレームワークは、データ拡張方法とアンサンブル学習アルゴリズムからなる。
  論文  参考訳（メタデータ） (2021-08-12T09:10:52Z)
• Self-Adaptive Training: Bridging the Supervised and Self-Supervised Learning [16.765461276790944]
  自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。 ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。 分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
  論文  参考訳（メタデータ） (2021-01-21T17:17:30Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。