論文の概要: From Hand-Crafted Metrics to Evolved Training-Free Performance Predictors for Neural Architecture Search via Genetic Programming

• arxiv url: http://arxiv.org/abs/2505.15832v1
• Date: Fri, 16 May 2025 07:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.790403
• Title: From Hand-Crafted Metrics to Evolved Training-Free Performance Predictors for Neural Architecture Search via Genetic Programming
• Title（参考訳）: 遺伝的プログラミングによるニューラルネットワーク探索のための手作りメトリクスから進化型学習不要性能予測器へ
• Authors: Quan Minh Phan, Ngoc Hoang Luong,
• Abstract要約: ゼロコスト(ZC)メトリクスを用いたネットワーク性能の推定は、ニューラルネットワーク探索(NAS)における効率性と有効性の両方を証明している。 本研究では,ZCメトリクスの設計を自動化するために,遺伝的プログラミングを用いたシンボリック回帰に基づくフレームワークを提案する。 我々のフレームワークは高いだけでなく、真のネットワーク性能と強い正のランク相関を持つZCメトリックを迅速に生成できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating the network performance using zero-cost (ZC) metrics has proven both its efficiency and efficacy in Neural Architecture Search (NAS). However, a notable limitation of most ZC proxies is their inconsistency, as reflected by the substantial variation in their performance across different problems. Furthermore, the design of existing ZC metrics is manual, involving a time-consuming trial-and-error process that requires substantial domain expertise. These challenges raise two critical questions: (1) Can we automate the design of ZC metrics? and (2) Can we utilize the existing hand-crafted ZC metrics to synthesize a more generalizable one? In this study, we propose a framework based on Symbolic Regression via Genetic Programming to automate the design of ZC metrics. Our framework is not only highly extensible but also capable of quickly producing a ZC metric with a strong positive rank correlation to true network performance across diverse NAS search spaces and tasks. Extensive experiments on 13 problems from NAS-Bench-Suite-Zero demonstrate that our automatically generated proxies consistently outperform hand-crafted alternatives. Using our evolved proxy metric as the search objective in an evolutionary algorithm, we could identify network architectures with competitive performance within 15 minutes using a single consumer GPU.
• Abstract（参考訳）: ゼロコスト(ZC)メトリクスを用いたネットワーク性能の推定は、ニューラルネットワーク探索(NAS)における効率性と有効性の両方を証明している。 しかしながら、ほとんどのZCプロキシの顕著な制限は、その不整合である。 さらに、既存のZCメトリクスの設計は手作業であり、かなりのドメインの専門知識を必要とする試行錯誤プロセスに時間を要する。 これらの課題は、(1)ZCメトリクスの設計を自動化できるか? そして(2) 既存の手作りZCメトリクスを使ってより一般化可能なものを合成できるだろうか? 本研究では,ZCメトリクスの設計を自動化するために,遺伝的プログラミングを用いたシンボリック回帰に基づくフレームワークを提案する。 我々のフレームワークは、非常に拡張性が高いだけでなく、多様なNAS検索空間やタスクにまたがる真のネットワーク性能と強い正のランク相関を持つZCメトリックを迅速に生成できる。 NAS-Bench-Suite-Zeroによる13個の問題に対する大規模な実験は、自動生成したプロキシが手作りの代替品より一貫して優れていることを示した。 進化的アルゴリズムの探索対象として進化したプロキシメトリックを用いて、15分以内の競合性能を持つネットワークアーキテクチャを1つのコンシューマGPUで識別できる。

関連論文リスト

• L-SWAG: Layer-Sample Wise Activation with Gradients information for Zero-Shot NAS on Vision Transformers [39.19675815138566]
  トレーニングフリーなニューラルネットワーク探索(NAS)は、ゼロコスト(ZC)プロキシを使用して、高性能なニューラルネットワークを効率的に識別する。 ZC-NAS は (i) 時間効率であり、モデルトレーニングの必要性を排除し、 (ii) 解釈可能である。 この作業は、ビジョントランスフォーマー(ViT)へのZCプロキシの適用性を拡張する。
  論文  参考訳（メタデータ） (2025-05-12T07:44:52Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators [57.145175475579315]
  このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。 第3世代のOTOv3(Noth-Train-Once)を導入する。 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T00:22:55Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• NAS-Bench-Suite-Zero: Accelerating Research on Zero Cost Proxies [38.49781074850968]
  NAS-Bench-Suite:28タスクで13のZCプロキシを評価します。 バイアス分析と情報理論解析を含むZCプロキシの大規模解析を行う。 13個のZCプロキシをすべてNASアルゴリズムが使用するサロゲートモデルに組み込むことで,予測性能を最大42%向上できることを示す。
  論文  参考訳（メタデータ） (2022-10-06T21:56:26Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。