論文の概要: LeMo-NADe: Multi-Parameter Neural Architecture Discovery with LLMs
- arxiv url: http://arxiv.org/abs/2402.18443v1
- Date: Wed, 28 Feb 2024 16:13:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 14:28:30.077200
- Title: LeMo-NADe: Multi-Parameter Neural Architecture Discovery with LLMs
- Title(参考訳): LeMo-NADe: LLMによるマルチパラメータニューラルネットワークディスカバリ
- Authors: Md Hafizur Rahman and Prabuddha Chakraborty
- Abstract要約: ユーザ定義パラメータに基づいた新しいニューラルネットワークアーキテクチャの自動発見を目的とした,新しいフレームワークを提案する。
LeMo-NADeは非AIの専門家が使用するように調整されており、所定のニューラルネットワーク検索スペースを必要とせず、エッジデバイス固有のパラメータの大きなセットを考慮している。
提案するフレームワークは、さまざまなアプリケーション設定で非常によく機能する複雑なニューラルネットワークモデルを迅速に発見できることを観察する。
- 参考スコア(独自算出の注目度): 2.409486048637817
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Building efficient neural network architectures can be a time-consuming task
requiring extensive expert knowledge. This task becomes particularly
challenging for edge devices because one has to consider parameters such as
power consumption during inferencing, model size, inferencing speed, and CO2
emissions. In this article, we introduce a novel framework designed to
automatically discover new neural network architectures based on user-defined
parameters, an expert system, and an LLM trained on a large amount of
open-domain knowledge. The introduced framework (LeMo-NADe) is tailored to be
used by non-AI experts, does not require a predetermined neural architecture
search space, and considers a large set of edge device-specific parameters. We
implement and validate this proposed neural architecture discovery framework
using CIFAR-10, CIFAR-100, and ImageNet16-120 datasets while using GPT-4 Turbo
and Gemini as the LLM component. We observe that the proposed framework can
rapidly (within hours) discover intricate neural network models that perform
extremely well across a diverse set of application settings defined by the
user.
- Abstract(参考訳): 効率的なニューラルネットワークアーキテクチャの構築は、幅広い専門知識を必要とする時間のかかる作業である。
このタスクは、推論時の消費電力、モデルサイズ、推論速度、CO2排出量などのパラメータを考慮する必要があるため、エッジデバイスでは特に困難になる。
本稿では,ユーザが定義したパラメータやエキスパートシステム,大量のオープンドメイン知識に基づいてトレーニングされたllmに基づいて,新たなニューラルネットワークアーキテクチャを自動的に発見する,新たなフレームワークを提案する。
導入されたフレームワーク(LeMo-NADe)は、AIの専門家以外の専門家が使用するように調整されており、所定のニューラルネットワーク検索スペースを必要としない。
提案するニューラルネットワーク探索フレームワークをcifar-10,cifar-100,imagenet16-120を用いて実装・検証し,llmコンポーネントとしてgpt-4 turboとgeminiを用いた。
提案するフレームワークは,ユーザが定義するさまざまなアプリケーション設定に対して,極めて良好に動作する複雑なニューラルネットワークモデルを,(数時間以内に)迅速に発見することができる。
関連論文リスト
- Neural Architecture Search using Particle Swarm and Ant Colony
Optimization [0.0]
本稿では,OpenNASのSwarm Intelligence (SI)コンポーネントを用いたCNNのトレーニングと最適化に焦点を当てる。
画像の分類において,OpenNAS(Neural Architecture Search)のオープンソースツールを統合するシステムを開発した。
論文 参考訳(メタデータ) (2024-03-06T15:23:26Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳(メタデータ) (2022-10-14T18:00:07Z) - An optimised deep spiking neural network architecture without gradients [7.183775638408429]
本稿では、局所シナプスおよびしきい値適応ルールを用いたエンドツーエンドのトレーニング可能なモジュラーイベント駆動ニューラルアーキテクチャを提案する。
このアーキテクチャは、既存のスパイキングニューラルネットワーク(SNN)アーキテクチャの高度に抽象化されたモデルを表している。
論文 参考訳(メタデータ) (2021-09-27T05:59:12Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳(メタデータ) (2021-08-20T09:07:01Z) - Scaled-Time-Attention Robust Edge Network [2.4417312983418014]
本稿では,貯水池型ニューラルネットワークの遅延ループバージョンに基づいて,ニューラルネットワークの新たなファミリーを構築するための体系的なアプローチについて述べる。
結果として得られたアーキテクチャは、STARE(Scaled-Time-Attention Robust Edge)ネットワークと呼ばれ、超次元空間と非乗算演算を利用する。
我々は、STAREがパフォーマンスを改善し、実装の複雑さを低減した様々なアプリケーションに適用可能であることを実証した。
論文 参考訳(メタデータ) (2021-07-09T21:24:49Z) - A novel Deep Neural Network architecture for non-linear system
identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。
メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。
このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文 参考訳(メタデータ) (2021-06-06T10:06:07Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳(メタデータ) (2021-05-07T11:39:05Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳(メタデータ) (2021-03-03T02:03:08Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2020-09-29T11:56:01Z) - Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。
DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。
300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文 参考訳(メタデータ) (2020-07-17T08:32:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。