論文の概要: Design Principle Transfer in Neural Architecture Search via Large Language Models

• arxiv url: http://arxiv.org/abs/2408.11330v1
• Date: Wed, 21 Aug 2024 04:27:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 18:28:56.237918
• Title: Design Principle Transfer in Neural Architecture Search via Large Language Models
• Title（参考訳）: 大規模言語モデルによるニューラルアーキテクチャ探索における設計原理の伝達
• Authors: Xun Zhou, Liang Feng, Xingyu Wu, Zhichao Lu, Kay Chen Tan,
• Abstract要約: トランスファーブルニューラルアーキテクチャサーチ(TNAS)は、複数のタスクのための効率的なニューラルアーキテクチャを設計するために導入された。 TNASでは、従来の検索プロセスに蓄積されたアーキテクチャ知識を再利用して、新しいタスクのアーキテクチャ検索を温める。 本研究は,新しい伝達パラダイム,すなわち設計原理伝達を提案する。
• 参考スコア（独自算出の注目度）: 37.004026595537006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transferable neural architecture search (TNAS) has been introduced to design efficient neural architectures for multiple tasks, to enhance the practical applicability of NAS in real-world scenarios. In TNAS, architectural knowledge accumulated in previous search processes is reused to warm up the architecture search for new tasks. However, existing TNAS methods still search in an extensive search space, necessitating the evaluation of numerous architectures. To overcome this challenge, this work proposes a novel transfer paradigm, i.e., design principle transfer. In this work, the linguistic description of various structural components' effects on architectural performance is termed design principles. They are learned from established architectures and then can be reused to reduce the search space by discarding unpromising architectures. Searching in the refined search space can boost both the search performance and efficiency for new NAS tasks. To this end, a large language model (LLM)-assisted design principle transfer (LAPT) framework is devised. In LAPT, LLM is applied to automatically reason the design principles from a set of given architectures, and then a principle adaptation method is applied to refine these principles progressively based on the new search results. Experimental results show that LAPT can beat the state-of-the-art TNAS methods on most tasks and achieve comparable performance on others.
• Abstract（参考訳）: トランスファーブルニューラルアーキテクチャサーチ(TNAS)は、現実のシナリオにおけるNASの実用性を高めるために、複数のタスクのための効率的なニューラルアーキテクチャを設計するために導入された。 TNASでは、従来の検索プロセスに蓄積されたアーキテクチャ知識を再利用して、新しいタスクのアーキテクチャ検索を温める。 しかし、既存のTNAS手法は依然として広範囲の検索空間を探索し、多数のアーキテクチャの評価を必要とする。 この課題を克服するために,本研究では,新しい伝達パラダイム,すなわち設計原理伝達を提案する。 本研究では, 各種構造部品が建築性能に与える影響を言語学的に記述し, 設計原理と呼ぶ。 それらは確立したアーキテクチャから学習され、未完成のアーキテクチャを捨てて検索スペースを減らすために再利用することができる。 改良された検索空間での検索は、新しいNASタスクの検索性能と効率の両方を高めることができる。 この目的のために,大規模言語モデル (LLM) を用いた設計原則伝達 (LAPT) フレームワークが考案された。 LAPTにおいて、LLMは与えられたアーキテクチャの集合から設計原則を自動推論するために適用され、その後、新しい検索結果に基づいてこれらの原則を段階的に洗練するために原則適応法が適用される。 実験の結果,LAPTはほとんどのタスクにおいて最先端のTNAS手法を破り,他のタスクと同等の性能を発揮することがわかった。

関連論文リスト

• Training-free Neural Architecture Search for RNNs and Transformers [0.0]
  我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。 トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
  論文  参考訳（メタデータ） (2023-06-01T02:06:13Z)
• Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification [15.641353388251465]
  微分可能なニューラルネットワークサーチ(NAS)は、検索コストを単一のネットワークをトレーニングするレベルに削減することで大きな影響を与える。 本稿では,探索範囲を導入することで,探索空間の適応スキームを提案する。 画像分類タスクにおいて, ProxylessNAS を用いて提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-06-05T05:27:12Z)
• Warm-starting DARTS using meta-learning [4.035753155957698]
  ニューラルネットワークサーチ(NAS)は、自動機械学習(AutoML)の分野で大きな可能性を秘めている。 微分可能アーキテクチャサーチ(DARTS)のためのメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-12T20:40:26Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Conceptual Expansion Neural Architecture Search (CENAS) [1.3464152928754485]
  概念拡張ニューラルアーキテクチャサーチ(CENAS)という手法を提案する。 サンプル効率が高く、計算的創造性にインスパイアされたトランスファーラーニングアプローチとニューラルアーキテクチャサーチを組み合わせたものだ。 新しいモデルのパラメータを近似するために、既存の重みを転送することで、素早いアーキテクチャ探索よりも高速なモデルを見つける。
  論文  参考訳（メタデータ） (2021-10-07T02:29:26Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• A Design Space Study for LISTA and Beyond [79.76740811464597]
  近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。 本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。 スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
  論文  参考訳（メタデータ） (2021-04-08T23:01:52Z)
• Learning Architectures from an Extended Search Space for Language Modeling [37.79977691127229]
  ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。 繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。 学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
  論文  参考訳（メタデータ） (2020-05-06T05:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。