論文の概要: CoLLM-NAS: Collaborative Large Language Models for Efficient Knowledge-Guided Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2509.26037v1
• Date: Tue, 30 Sep 2025 10:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.504769
• Title: CoLLM-NAS: Collaborative Large Language Models for Efficient Knowledge-Guided Neural Architecture Search
• Title（参考訳）: CoLLM-NAS: 知識誘導型ニューラルネットワーク探索のための協調型大規模言語モデル
• Authors: Zhe Li, Zhiwei Lin, Yongtao Wang,
• Abstract要約: CoLLM-NAS(Collaborative LLM-based NAS)は、2段階のNASフレームワークである。 ImageNet と NAS-Bench-201 の実験結果から,CoLLM-NAS が既存のNAS法や従来の探索アルゴリズムを超越していることが判明した。
• 参考スコア（独自算出の注目度）: 19.13396813882083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of Large Language Models (LLMs) with Neural Architecture Search (NAS) has introduced new possibilities for automating the design of neural architectures. However, most existing methods face critical limitations, including architectural invalidity, computational inefficiency, and inferior performance compared to traditional NAS. In this work, we present Collaborative LLM-based NAS (CoLLM-NAS), a two-stage NAS framework with knowledge-guided search driven by two complementary LLMs. Specifically, we propose a Navigator LLM to guide search direction and a Generator LLM to synthesize high-quality candidates, with a dedicated Coordinator module to manage their interaction. CoLLM-NAS efficiently guides the search process by combining LLMs' inherent knowledge of structured neural architectures with progressive knowledge from iterative feedback and historical trajectory. Experimental results on ImageNet and NAS-Bench-201 show that CoLLM-NAS surpasses existing NAS methods and conventional search algorithms, achieving new state-of-the-art results. Furthermore, CoLLM-NAS consistently enhances the performance and efficiency of various two-stage NAS methods (e.g., OFA, SPOS, and AutoFormer) across diverse search spaces (e.g., MobileNet, ShuffleNet, and AutoFormer), demonstrating its excellent generalization.
• Abstract（参考訳）: 大規模言語モデル(LLM)とニューラルアーキテクチャサーチ(NAS)の統合により、ニューラルアーキテクチャの設計を自動化する新たな可能性が導入された。 しかし、既存のほとんどの手法は、アーキテクチャの無効性、計算の非効率性、従来のNASに比べて性能が劣るなど、限界に直面している。 本研究では,2つのLLMで駆動される知識誘導探索を備えた2段階NASフレームワークであるCollaborative LLM-based NAS(CoLLM-NAS)を提案する。 具体的には、探索方向を案内するナビゲータLLMと、高品質な候補を合成するジェネレータLLMと、それらの相互作用を管理する専用のコーディネータモジュールを提案する。 CoLLM-NASは、構造化されたニューラルネットワークのLLM固有の知識と、反復的なフィードバックと歴史的軌道からの進歩的な知識を組み合わせることで、探索プロセスを効率的に導く。 ImageNetとNAS-Bench-201の実験結果から、CoLLM-NASは既存のNAS法や従来の検索アルゴリズムを超越し、最先端の新たな結果が得られた。 さらに、CoLLM-NASは、様々な検索空間(例えば、MobileNet、ShuffleNet、AutoFormer)にわたる2段階NASメソッド(例えば、OFA、SPOS、AutoFormer)の性能と効率を一貫して向上させ、その優れた一般化を示す。

関連論文リスト

• LM-Searcher: Cross-domain Neural Architecture Search with LLMs via Unified Numerical Encoding [55.5535016040221]
  LM-Searcherは、クロスドメインニューラルネットワーク最適化のための新しいフレームワークである。 我々のアプローチの中心は、ニューラルネットワークのための普遍的な数値文字列表現であるNCodeである。 我々のデータセットは、幅広いアーキテクチャとパフォーマンスのペアを含み、堅牢で伝達可能な学習を促進する。
  論文  参考訳（メタデータ） (2025-09-06T09:26:39Z)
• Instructing the Architecture Search for Spatial-temporal Sequence Forecasting with LLM [18.649295352998546]
  大規模言語モデル(LLM)に基づくSTSFのための新しいNAS手法を提案する。 提案手法は,STSFの既存のNAS法に対して,より優れた効率で競合効率を実現することができる。
  論文  参考訳（メタデータ） (2025-03-23T08:59:04Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework [6.895590095853327]
  微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。 最近の差別化可能なNASは、検索性能の向上とGPUメモリ消費の削減も目指している。 微分可能なNASフレームワークにおける高効率と、多目的NASにおける非微分可能なメトリクス間の互換性を両立させたTND-NASを提案する。
  論文  参考訳（メタデータ） (2021-11-06T14:19:36Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• Evaluating the Effectiveness of Efficient Neural Architecture Search for Sentence-Pair Tasks [14.963150544536203]
  ニューラルアーキテクチャサーチ(NAS)手法は、最近、様々な自然言語処理やコンピュータビジョンタスクにおいて、競争または最先端(SOTA)のパフォーマンスを達成した。 本研究では,SOTANASアルゴリズム(Efficient Neural Architecture Search, ENAS)の2つの文対タスクへの適用性について検討する。
  論文  参考訳（メタデータ） (2020-10-08T20:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。