論文の概要: LeMo-NADe: Multi-Parameter Neural Architecture Discovery with LLMs

• arxiv url: http://arxiv.org/abs/2402.18443v1
• Date: Wed, 28 Feb 2024 16:13:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 14:28:30.077200
• Title: LeMo-NADe: Multi-Parameter Neural Architecture Discovery with LLMs
• Title（参考訳）: LeMo-NADe: LLMによるマルチパラメータニューラルネットワークディスカバリ
• Authors: Md Hafizur Rahman and Prabuddha Chakraborty
• Abstract要約: ユーザ定義パラメータに基づいた新しいニューラルネットワークアーキテクチャの自動発見を目的とした,新しいフレームワークを提案する。 LeMo-NADeは非AIの専門家が使用するように調整されており、所定のニューラルネットワーク検索スペースを必要とせず、エッジデバイス固有のパラメータの大きなセットを考慮している。 提案するフレームワークは、さまざまなアプリケーション設定で非常によく機能する複雑なニューラルネットワークモデルを迅速に発見できることを観察する。
• 参考スコア（独自算出の注目度）: 2.409486048637817
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Building efficient neural network architectures can be a time-consuming task requiring extensive expert knowledge. This task becomes particularly challenging for edge devices because one has to consider parameters such as power consumption during inferencing, model size, inferencing speed, and CO2 emissions. In this article, we introduce a novel framework designed to automatically discover new neural network architectures based on user-defined parameters, an expert system, and an LLM trained on a large amount of open-domain knowledge. The introduced framework (LeMo-NADe) is tailored to be used by non-AI experts, does not require a predetermined neural architecture search space, and considers a large set of edge device-specific parameters. We implement and validate this proposed neural architecture discovery framework using CIFAR-10, CIFAR-100, and ImageNet16-120 datasets while using GPT-4 Turbo and Gemini as the LLM component. We observe that the proposed framework can rapidly (within hours) discover intricate neural network models that perform extremely well across a diverse set of application settings defined by the user.
• Abstract（参考訳）: 効率的なニューラルネットワークアーキテクチャの構築は、幅広い専門知識を必要とする時間のかかる作業である。 このタスクは、推論時の消費電力、モデルサイズ、推論速度、CO2排出量などのパラメータを考慮する必要があるため、エッジデバイスでは特に困難になる。 本稿では,ユーザが定義したパラメータやエキスパートシステム,大量のオープンドメイン知識に基づいてトレーニングされたllmに基づいて,新たなニューラルネットワークアーキテクチャを自動的に発見する,新たなフレームワークを提案する。 導入されたフレームワーク(LeMo-NADe)は、AIの専門家以外の専門家が使用するように調整されており、所定のニューラルネットワーク検索スペースを必要としない。 提案するニューラルネットワーク探索フレームワークをcifar-10,cifar-100,imagenet16-120を用いて実装・検証し,llmコンポーネントとしてgpt-4 turboとgeminiを用いた。 提案するフレームワークは,ユーザが定義するさまざまなアプリケーション設定に対して,極めて良好に動作する複雑なニューラルネットワークモデルを,(数時間以内に)迅速に発見することができる。

関連論文リスト

• ILASH: A Predictive Neural Architecture Search Framework for Multi-Task Applications [2.141170708560114]
  本稿では,電力利用の最小化,フレームレートの向上,モデルサイズ削減に階層共有の概念を活用するニューラルネットワークアーキテクチャ(ILASH)の新たなパラダイムを提案する。 また、与えられたタスクやデバイス制約に対してこれらのニューラルネットワークモデルを効率的に構築するための新しいニューラルネットワークアーキテクチャ探索フレームワーク(ILASH-NAS)を提案する。 生成したモデル性能とニューラルサーチ効率の両面で,最大16倍のエネルギー利用率,CO2排出量,トレーニング/検索時間の両面で,大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-12-03T03:12:16Z)
• Designing a Classifier for Active Fire Detection from Multispectral Satellite Imagery Using Neural Architecture Search [0.0]
  本稿では、強化学習に基づくニューラルアーキテクチャサーチ(NAS)エージェントを用いて、小型ニューラルネットワークを設計し、マルチスペクトル衛星画像上でアクティブな火災検知を行う。 具体的には、単一マルチスペクトル画素が火災の一部かどうかを判断できるニューラルネットワークを設計し、低地球軌道(LEO)ナノサテライトの制約内で限られた電力予算で行うことを目的としている。
  論文  参考訳（メタデータ） (2024-10-07T18:43:43Z)
• NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
  NNsightとNDIFは、非常に大きなニューラルネットワークの科学的研究を可能にするために、タンデムで機能する技術である。 NNsightは、遅延リモート実行を導入するためにPyTorchを拡張したオープンソースのシステムである。 NDIFは、NNsightリクエストを実行するスケーラブルな推論サービスで、GPUリソースと事前トレーニングされたモデルを共有することができる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:01Z)
• Neural Architecture Search using Particle Swarm and Ant Colony Optimization [0.0]
  本稿では,OpenNASのSwarm Intelligence (SI)コンポーネントを用いたCNNのトレーニングと最適化に焦点を当てる。 画像の分類において,OpenNAS(Neural Architecture Search)のオープンソースツールを統合するシステムを開発した。
  論文  参考訳（メタデータ） (2024-03-06T15:23:26Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• An optimised deep spiking neural network architecture without gradients [7.183775638408429]
  本稿では、局所シナプスおよびしきい値適応ルールを用いたエンドツーエンドのトレーニング可能なモジュラーイベント駆動ニューラルアーキテクチャを提案する。 このアーキテクチャは、既存のスパイキングニューラルネットワーク(SNN)アーキテクチャの高度に抽象化されたモデルを表している。
  論文  参考訳（メタデータ） (2021-09-27T05:59:12Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
  TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。 DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。 300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
  論文  参考訳（メタデータ） (2020-07-17T08:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。