論文の概要: NADER: Neural Architecture Design via Multi-Agent Collaboration

• arxiv url: http://arxiv.org/abs/2412.19206v1
• Date: Thu, 26 Dec 2024 13:07:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:26:25.487031
• Title: NADER: Neural Architecture Design via Multi-Agent Collaboration
• Title（参考訳）: NADER: マルチエージェントコラボレーションによるニューラルアーキテクチャ設計
• Authors: Zekang Yang, Wang Zeng, Sheng Jin, Chen Qian, Ping Luo, Wentao Liu,
• Abstract要約: ニューラルアーキテクチャ設計(NAD)を多エージェント協調問題として定式化する新しいフレームワークであるNADERを紹介する。 本稿では,即時フィードバックと長期経験から効果的に学習するリフレクタを提案する。 ニューラルアーキテクチャを表現するためにコードを使った従来のLCMベースの手法とは異なり、グラフベースの表現を用いる。
• 参考スコア（独自算出の注目度）: 37.48197934228379
• License:
• Abstract: Designing effective neural architectures poses a significant challenge in deep learning. While Neural Architecture Search (NAS) automates the search for optimal architectures, existing methods are often constrained by predetermined search spaces and may miss critical neural architectures. In this paper, we introduce NADER (Neural Architecture Design via multi-agEnt collaboRation), a novel framework that formulates neural architecture design (NAD) as a LLM-based multi-agent collaboration problem. NADER employs a team of specialized agents to enhance a base architecture through iterative modification. Current LLM-based NAD methods typically operate independently, lacking the ability to learn from past experiences, which results in repeated mistakes and inefficient exploration. To address this issue, we propose the Reflector, which effectively learns from immediate feedback and long-term experiences. Additionally, unlike previous LLM-based methods that use code to represent neural architectures, we utilize a graph-based representation. This approach allows agents to focus on design aspects without being distracted by coding. We demonstrate the effectiveness of NADER in discovering high-performing architectures beyond predetermined search spaces through extensive experiments on benchmark tasks, showcasing its advantages over state-of-the-art methods. The codes will be released soon.
• Abstract（参考訳）: 効果的なニューラルネットワークの設計は、ディープラーニングにおいて大きな課題となる。 ニューラルアーキテクチャサーチ(NAS)は最適なアーキテクチャの探索を自動化するが、既存の手法はしばしば所定の検索空間によって制約され、重要なニューラルアーキテクチャを見逃すことがある。 本稿では,LLMに基づくマルチエージェント協調問題としてニューラルアーキテクチャ設計(NAD)を定式化する新しいフレームワークであるNADER(Neural Architecture Design via multi-agEnt ColllaboRation)を紹介する。 NADERは、反復的な修正を通じてベースアーキテクチャを強化するために、特殊エージェントのチームを採用している。 現在のLLMベースのNAD法は一般的に独立して動作し、過去の経験から学習する能力が欠如している。 この問題に対処するために,即時フィードバックと長期経験から効果的に学習するリフレクタを提案する。 さらに、ニューラルネットワークを表現するためにコードを使用した従来のLLM法とは異なり、グラフベースの表現を用いる。 このアプローチにより、エージェントはコーディングに気を散らすことなく、設計面に集中できる。 ベンチマークタスクの広範囲な実験を通じて、NADERが所定の探索空間を超えて高性能なアーキテクチャを発見できることを示すとともに、最先端の手法に対する利点を示す。 コードも間もなく公開される予定だ。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• Design Principle Transfer in Neural Architecture Search via Large Language Models [37.004026595537006]
  トランスファーブルニューラルアーキテクチャサーチ(TNAS)は、複数のタスクのための効率的なニューラルアーキテクチャを設計するために導入された。 TNASでは、従来の検索プロセスに蓄積されたアーキテクチャ知識を再利用して、新しいタスクのアーキテクチャ検索を温める。 本研究は,新しい伝達パラダイム,すなわち設計原理伝達を提案する。
  論文  参考訳（メタデータ） (2024-08-21T04:27:44Z)
• Masked Autoencoders Are Robust Neural Architecture Search Learners [14.965550562292476]
  本研究では,Masked Autoencoders (MAE) に基づく新しいNASフレームワークを提案する。 教師あり学習対象を画像再構成タスクに置き換えることで,ネットワークアーキテクチャの堅牢な発見を可能にする。
  論文  参考訳（メタデータ） (2023-11-20T13:45:21Z)
• An Approach for Efficient Neural Architecture Search Space Definition [0.0]
  本稿では, 理解や操作が容易な新しいセルベース階層型検索空間を提案する。 提案手法の目的は,検索時間を最適化し,CNNアーキテクチャのほとんどの状態を扱うのに十分な一般性を得ることである。
  論文  参考訳（メタデータ） (2023-10-25T08:07:29Z)
• Conceptual Expansion Neural Architecture Search (CENAS) [1.3464152928754485]
  概念拡張ニューラルアーキテクチャサーチ(CENAS)という手法を提案する。 サンプル効率が高く、計算的創造性にインスパイアされたトランスファーラーニングアプローチとニューラルアーキテクチャサーチを組み合わせたものだ。 新しいモデルのパラメータを近似するために、既存の重みを転送することで、素早いアーキテクチャ探索よりも高速なモデルを見つける。
  論文  参考訳（メタデータ） (2021-10-07T02:29:26Z)
• A Design Space Study for LISTA and Beyond [79.76740811464597]
  近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。 本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。 スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
  論文  参考訳（メタデータ） (2021-04-08T23:01:52Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• Does Unsupervised Architecture Representation Learning Help Neural Architecture Search? [22.63641173256389]
  既存のニューラルアーキテクチャサーチ(NAS)手法は、スケールが良くない離散符号化を用いてニューラルアーキテクチャをエンコードするか、アーキテクチャ表現を共同で学習し、探索バイアスを引き起こすような表現上でアーキテクチャ探索を最適化するための教師付き学習ベースの手法を採用する。 アーキテクチャ表現学習と探索が組み合わさっていれば,ニューラルネットワークの構造的特性を潜時空間に保持することは困難であり,その結果,探索性能は低下する。
  論文  参考訳（メタデータ） (2020-06-12T04:15:34Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。