論文の概要: Evolutionary Neural Architecture Search with Dual Contrastive Learning

• arxiv url: http://arxiv.org/abs/2512.20112v1
• Date: Tue, 23 Dec 2025 07:15:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.782303
• Title: Evolutionary Neural Architecture Search with Dual Contrastive Learning
• Title（参考訳）: デュアルコントラスト学習を用いた進化的ニューラルアーキテクチャ探索
• Authors: Xian-Rong Zhang, Yue-Jiao Gong, Wei-Neng Chen, Jun Zhang,
• Abstract要約: 本稿では,2段階のコントラスト学習を用いたニューラル予測学習手法であるDCL-ENASについて紹介する。 実世界のECG不整脈分類タスクでは、DCL-ENASは手作業で設計した非NASモデルよりも約2.5ポイントの性能を向上させる。
• 参考スコア（独自算出の注目度）: 17.587401259123855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolutionary Neural Architecture Search (ENAS) has gained attention for automatically designing neural network architectures. Recent studies use a neural predictor to guide the process, but the high computational costs of gathering training data -- since each label requires fully training an architecture -- make achieving a high-precision predictor with { limited compute budget (i.e., a capped number of fully trained architecture-label pairs)} crucial for ENAS success. This paper introduces ENAS with Dual Contrastive Learning (DCL-ENAS), a novel method that employs two stages of contrastive learning to train the neural predictor. In the first stage, contrastive self-supervised learning is used to learn meaningful representations from neural architectures without requiring labels. In the second stage, fine-tuning with contrastive learning is performed to accurately predict the relative performance of different architectures rather than their absolute performance, which is sufficient to guide the evolutionary search. Across NASBench-101 and NASBench-201, DCL-ENAS achieves the highest validation accuracy, surpassing the strongest published baselines by 0.05\% (ImageNet16-120) to 0.39\% (NASBench-101). On a real-world ECG arrhythmia classification task, DCL-ENAS improves performance by approximately 2.5 percentage points over a manually designed, non-NAS model obtained via random search, while requiring only 7.7 GPU-days.
• Abstract（参考訳）: 進化的ニューラルネットワーク探索(ENAS)は、ニューラルネットワークアーキテクチャの自動設計において注目を集めている。 近年の研究では、プロセスのガイドに神経予測器が使用されているが、トレーニングデータを集めるための高い計算コスト -- 各ラベルが完全にアーキテクチャを訓練する必要があるため -- は、ENASの成功に欠かせない計算予算(すなわち、完全に訓練されたアーキテクチャとラベルのペア)で高精度な予測器を実現する。 本稿では,2段階のコントラスト学習を用いたニューラル予測学習手法であるDCL-ENASについて紹介する。 最初の段階では、ラベルを必要とせずにニューラルネットワークから意味のある表現を学習するために、対照的な自己教師型学習が使用される。 第2段階では、進化的探索を導くのに十分な絶対的な性能ではなく、異なるアーキテクチャの相対的な性能を正確に予測するために、対照的な学習を伴う微調整を行う。 NASBench-101 と NASBench-201 全体では、DCL-ENAS が最も高い検証精度を達成し、最も強力なベースラインである ImageNet16-120 を 0.05 % から 0.39 % (NASBench-101 ) まで上回っている。 現実世界のECG不整脈分類タスクでは、DCL-ENASは7.7GPU日しか必要とせず、手動で設計した非NASモデルよりも約2.5パーセントパフォーマンスを改善している。

関連論文リスト

• HyperNAS: Enhancing Architecture Representation for NAS Predictor via Hypernetwork [37.904207059004385]
  HyperNASは、アーキテクチャ表現学習を強化するための新しい神経予測パラダイムである。 我々は、HyperNASがCIFAR-10で97.60%、ImageNetで82.4%、少なくとも5.0$times$より少ないサンプルを使用して、新しい最先端の結果を打つことを示した。
  論文  参考訳（メタデータ） (2025-09-16T11:49:12Z)
• SalNAS: Efficient Saliency-prediction Neural Architecture Search with self-knowledge distillation [7.625269122161064]
  近年の深部畳み込み型ニューラルネットワークの進歩により,サリエンシ予測の性能が大幅に向上した。 本稿では,2つのコントリビューションを持つ有能性予測のためのニューラルアーキテクチャ検索フレームワークを提案する。 自己KDを利用することで、SalNASは、ほとんどの評価ルーリックにおいて、他の最先端の精度予測モデルより優れている。
  論文  参考訳（メタデータ） (2024-07-29T14:48:34Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [56.09418231453024]
  ニューラルアーキテクチャサーチ(NAS)により、研究者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく相互比較比較支援型多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
  ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。 この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。 実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-04-24T03:22:49Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
  我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。 Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。 NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-27T06:40:39Z)
• PEng4NN: An Accurate Performance Estimation Engine for Efficient Automated Neural Network Architecture Search [0.0]
  ニューラルネットワーク(NN)モデルは、科学シミュレーションやAI、その他の高性能コンピューティング分野でますます利用されている。 NASは、NN機能をキャプチャする主要なメトリクスによってパフォーマンスが測定される特殊なダットセットに対して、優れたパフォーマンスのNNモデルを見つけようとする。 本稿では,NNのトレーニングリソースを削減し,NASスループットを向上する性能推定手法を提案する。
  論文  参考訳（メタデータ） (2021-01-11T20:49:55Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。