論文の概要: Towards Code-Oriented LM Embeddings for Surrogate-Assisted Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2605.15649v1
• Date: Fri, 15 May 2026 06:07:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.187657
• Title: Towards Code-Oriented LM Embeddings for Surrogate-Assisted Neural Architecture Search
• Title（参考訳）: 代理型ニューラルネットワーク探索のためのコード指向型LM埋め込みの実現に向けて
• Authors: Pranav Somu, Advay Balakrishnan, Stepan Kravtsov, Aaron McDaniel, Jason Zutty,
• Abstract要約: 本稿では,言語モデル(LM)の帰納バイアスを利用してこれらのオーバーヘッドを解消する,低コストな埋め込み戦略を提案する。 NAS-Bench-201とeinspace検索空間の実験により、生コード入力は他のテキストベースの符号化よりも高い予測性能が得られることが明らかになった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing effective surrogates (performance predictors) for Neural Architecture Search (NAS) typically requires expensive fine-tuning or the engineering of complex representations. We propose a low-cost embedding strategy that leverages the inductive bias of Language Models (LMs) to eliminate these overheads. By representing architectures as PyTorch class definition text, we demonstrate that off-the-shelf LMs act as competitive feature extractors without NAS-specialized fine-tuning. The final predictor is constructed by passing the extracted Code-Oriented LM Embeddings (COLE) through a lightweight regression head. We also investigate strategies to improve embedding quality and utilization. Our experiments on the NAS-Bench-201 and einspace search spaces reveal that raw code inputs yield higher predictive performance than other text-based encodings (e.g., ONNX-to-text encodings) when using frozen LMs. We also observe COLE drives superior surrogate-assisted search using the BANANAS algorithm in NAS-Bench-201. When optimizing for CIFAR-100 performance, replacing structural path encodings with COLE for architecture representation allows for a 34% decrease in the evaluation budget required to reach within 1% of the fittest architecture in the search space (by test accuracy). As any neural architecture can be represented as code, these findings establish COLE as a versatile and efficient foundation for advancing NAS.
• Abstract（参考訳）: ニューラルネットワーク探索(NAS)のための効果的なサロゲート(性能予測器)の開発には、通常、高価な微調整や複雑な表現のエンジニアリングが必要となる。 本稿では,言語モデル(LM)の帰納バイアスを利用してこれらのオーバーヘッドを解消する,低コストな埋め込み戦略を提案する。 アーキテクチャをPyTorchクラス定義テキストとして表現することにより、既製のLMがNAS指定の微調整なしで競合する特徴抽出器として機能することを実証する。 最終予測器は、抽出した Code-Oriented LM Embeddings (COLE) を軽量回帰ヘッドに渡すことで構成される。 組込み品質と利用性を改善するための戦略についても検討する。 NAS-Bench-201 と einspace 検索空間における実験により,凍結した LM を使用する場合,生コード入力が他のテキストベース符号化(例えば ONNX-to-text 符号化)よりも高い予測性能が得られることが明らかになった。 また、NAS-Bench-201におけるBANANASアルゴリズムを用いて、COLEが優れたサロゲート支援探索を行うのを観察する。 CIFAR-100の性能を最適化する場合、アーキテクチャ表現のための構造パスエンコーディングをCOLEに置き換えることで、(テスト精度によって)検索空間の最も適したアーキテクチャの1%以内に到達するために必要な評価予算を34%削減することができる。 どのようなニューラルアーキテクチャもコードとして表現できるため、これらの発見はCOLEをNASを進めるための汎用的で効率的な基盤として確立している。

関連論文リスト

• LM-Searcher: Cross-domain Neural Architecture Search with LLMs via Unified Numerical Encoding [55.5535016040221]
  LM-Searcherは、クロスドメインニューラルネットワーク最適化のための新しいフレームワークである。 我々のアプローチの中心は、ニューラルネットワークのための普遍的な数値文字列表現であるNCodeである。 我々のデータセットは、幅広いアーキテクチャとパフォーマンスのペアを含み、堅牢で伝達可能な学習を促進する。
  論文  参考訳（メタデータ） (2025-09-06T09:26:39Z)
• Arch-LLM: Taming LLMs for Neural Architecture Generation via Unsupervised Discrete Representation Learning [2.981775461282335]
  共通のアプローチは、分散アーキテクチャを連続的な表現空間にマッピングするために、変分オートエンコーダ(VAE)を使用することである。 本稿では,ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入し,離散型ニューラルアーキテクチャとより自然に一致した離散潜在空間を学習する。 VAE法と比較して,本手法はNASBench-101では80%以上,NASBench-201では8%以上向上する。
  論文  参考訳（メタデータ） (2025-03-28T00:56:56Z)
• Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
  ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。 提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。 実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
  論文  参考訳（メタデータ） (2023-08-31T14:54:06Z)
• A General-Purpose Transferable Predictor for Neural Architecture Search [22.883809911265445]
  本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。 NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-21T17:28:05Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。