論文の概要: ILASH: A Predictive Neural Architecture Search Framework for Multi-Task Applications

• arxiv url: http://arxiv.org/abs/2412.02116v1
• Date: Tue, 03 Dec 2024 03:12:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:48:25.311464
• Title: ILASH: A Predictive Neural Architecture Search Framework for Multi-Task Applications
• Title（参考訳）: ILASH:マルチタスクアプリケーションのための予測型ニューラルネットワーク検索フレームワーク
• Authors: Md Hafizur Rahman, Md Mashfiq Rizvee, Sumaiya Shomaji, Prabuddha Chakraborty,
• Abstract要約: 本稿では,電力利用の最小化,フレームレートの向上,モデルサイズ削減に階層共有の概念を活用するニューラルネットワークアーキテクチャ(ILASH)の新たなパラダイムを提案する。 また、与えられたタスクやデバイス制約に対してこれらのニューラルネットワークモデルを効率的に構築するための新しいニューラルネットワークアーキテクチャ探索フレームワーク(ILASH-NAS)を提案する。 生成したモデル性能とニューラルサーチ効率の両面で,最大16倍のエネルギー利用率,CO2排出量,トレーニング/検索時間の両面で,大幅な改善が見られた。
• 参考スコア（独自算出の注目度）: 2.141170708560114
• License:
• Abstract: Artificial intelligence (AI) is widely used in various fields including healthcare, autonomous vehicles, robotics, traffic monitoring, and agriculture. Many modern AI applications in these fields are multi-tasking in nature (i.e. perform multiple analysis on same data) and are deployed on resource-constrained edge devices requiring the AI models to be efficient across different metrics such as power, frame rate, and size. For these specific use-cases, in this work, we propose a new paradigm of neural network architecture (ILASH) that leverages a layer sharing concept for minimizing power utilization, increasing frame rate, and reducing model size. Additionally, we propose a novel neural network architecture search framework (ILASH-NAS) for efficient construction of these neural network models for a given set of tasks and device constraints. The proposed NAS framework utilizes a data-driven intelligent approach to make the search efficient in terms of energy, time, and CO2 emission. We perform extensive evaluations of the proposed layer shared architecture paradigm (ILASH) and the ILASH-NAS framework using four open-source datasets (UTKFace, MTFL, CelebA, and Taskonomy). We compare ILASH-NAS with AutoKeras and observe significant improvement in terms of both the generated model performance and neural search efficiency with up to 16x less energy utilization, CO2 emission, and training/search time.
• Abstract（参考訳）: 人工知能(AI)は、医療、自動運転車、ロボット工学、交通監視、農業など様々な分野で広く使われている。 これらの分野における現代のAIアプリケーションは、本質的にマルチタスキング(つまり、同じデータで複数の分析を行う)であり、AIモデルがパワー、フレームレート、サイズなど、さまざまなメトリクスにわたって効率的であることが要求されるリソース制約のあるエッジデバイスにデプロイされる。 これらの特定のユースケースに対して、我々は、電力利用の最小化、フレームレートの増加、モデルサイズの削減にレイヤ共有の概念を活用するニューラルネットワークアーキテクチャ(ILASH)の新たなパラダイムを提案する。 さらに、与えられたタスクやデバイス制約に対してこれらのニューラルネットワークモデルを効率的に構築するための新しいニューラルネットワークアーキテクチャ探索フレームワーク(ILASH-NAS)を提案する。 提案したNASフレームワークは, エネルギー, 時間, CO2排出量の面で探索を効率化するために, データ駆動型インテリジェントアプローチを利用する。 4つのオープンソースデータセット(UTKFace, MTFL, CelebA, Taskonomy)を用いて,提案したレイヤ共有アーキテクチャパラダイム(ILASH)とILASH-NASフレームワークの広範な評価を行う。 我々は、ILASH-NASとAutoKerasを比較し、生成したモデル性能とニューラルサーチ効率を最大16倍のエネルギー利用率、CO2排出量、トレーニング/検索時間で大幅に改善した。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
  NNsightとNDIFは、非常に大きなニューラルネットワークの科学的研究を可能にするために、タンデムで機能する技術である。 NNsightは、遅延リモート実行を導入するためにPyTorchを拡張したオープンソースのシステムである。 NDIFは、NNsightリクエストを実行するスケーラブルな推論サービスで、GPUリソースと事前トレーニングされたモデルを共有することができる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:01Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Efficient Architecture Search for Diverse Tasks [29.83517145790238]
  多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。 本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。 DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
  論文  参考訳（メタデータ） (2022-04-15T17:21:27Z)
• Differentiable NAS Framework and Application to Ads CTR Prediction [30.74403362212425]
  我々は、微分可能なニューラルネットワーク探索(DNAS)のための推論およびモジュラーフレームワークを実装している。 DNASを広告クリックスルー率(CTR)予測の問題に適用する。 我々は、CTR予測のための深層学習勧告モデル(DLRM)のバックボーンに新しい検索空間を開発し、調整し、Criteo Kaggle CTR予測データセットの最先端結果を報告する。
  論文  参考訳（メタデータ） (2021-10-25T05:46:27Z)
• Evolutionary Neural Architecture Search Supporting Approximate Multipliers [0.5414308305392761]
  進化的畳み込みニューラルネットワーク(CNN)のためのカルト的遺伝的プログラミングに基づく多目的NAS法を提案する。 最も適切な近似乗算器は、近似乗算器のライブラリから自動的に選択される。 進化したCNNは、CIFAR-10ベンチマーク問題に類似した複雑さを持つ一般的な人間によるCNNと比較される。
  論文  参考訳（メタデータ） (2021-01-28T09:26:03Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。