論文の概要: Memory-Optimized Once-For-All Network

• arxiv url: http://arxiv.org/abs/2409.05900v1
• Date: Thu, 5 Sep 2024 20:06:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 22:10:02.862636
• Title: Memory-Optimized Once-For-All Network
• Title（参考訳）: メモリ最適化ワン・フォー・オールネットワーク
• Authors: Maxime Girard, Victor Quétu, Samuel Tardieu, Van-Tam Nguyen, Enzo Tartaglione,
• Abstract要約: メモリ制限OF(MOOFA)スーパーネットは、異なる構成でメモリ使用量を最大化するように設計されている。 私たちのコードはhttps://github.com/MaximeGirard/Memory-optimized-once-for-all.comで利用可能です。
• 参考スコア（独自算出の注目度）: 5.008189006630566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying Deep Neural Networks (DNNs) on different hardware platforms is challenging due to varying resource constraints. Besides handcrafted approaches aiming at making deep models hardware-friendly, Neural Architectures Search is rising as a toolbox to craft more efficient DNNs without sacrificing performance. Among these, the Once-For-All (OFA) approach offers a solution by allowing the sampling of well-performing sub-networks from a single supernet -- this leads to evident advantages in terms of computation. However, OFA does not fully utilize the potential memory capacity of the target device, focusing instead on limiting maximum memory usage per layer. This leaves room for an unexploited potential in terms of model generalizability. In this paper, we introduce a Memory-Optimized OFA (MOOFA) supernet, designed to enhance DNN deployment on resource-limited devices by maximizing memory usage (and for instance, features diversity) across different configurations. Tested on ImageNet, our MOOFA supernet demonstrates improvements in memory exploitation and model accuracy compared to the original OFA supernet. Our code is available at https://github.com/MaximeGirard/memory-optimized-once-for-all.
• Abstract（参考訳）: さまざまなハードウェアプラットフォームにDeep Neural Networks(DNN)をデプロイするのは、リソースの制約が多様であるため、難しい。 ディープモデルをハードウェアフレンドリにすることを目的とした手作りのアプローチに加えて、Neural Architectures Searchは、パフォーマンスを犠牲にすることなく、より効率的なDNNを構築するためのツールボックスとして台頭している。 これらのうち、Imped-For-All(OFA)アプローチは、単一のスーパーネットから優れたパフォーマンスのサブネットワークをサンプリングすることで、ソリューションを提供する。 しかし、OFAはターゲットデバイスの潜在的なメモリ容量を完全に利用せず、代わりに層ごとのメモリ使用量を制限することに重点を置いている。 このことは、モデル一般化可能性の観点で明らかでないポテンシャルを持つ余地を残している。 本稿では,メモリ使用量(および機能多様性)を最大化し,資源制限されたデバイス上でのDNN展開を改善するために設計されたメモリ最適化OF(MOOFA)スーパーネットを提案する。 ImageNetでテストしたMOOFAスーパーネットは、元のOFAスーパーネットと比較してメモリ利用率とモデル精度の向上を実証している。 私たちのコードはhttps://github.com/MaximeGirard/Memory-optimized-once-for-all.comで利用可能です。

関連論文リスト

• RNC: Efficient RRAM-aware NAS and Compilation for DNNs on Resource-Constrained Edge Devices [0.30458577208819987]
  我々は抵抗性ランダムアクセスメモリ(RRAM)に基づく加速器のためのエッジフレンドリーなディープニューラルネットワーク(DNN)の開発を目指している。 本稿では,特定のハードウェア制約を満たす最適化ニューラルネットワークを探索するための,エッジコンパイルとリソース制約付きRRAM対応ニューラルネットワーク探索(NAS)フレームワークを提案する。 NASが速度に最適化した結果のモデルは5x-30倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-09-27T15:35:36Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• SwapNet: Efficient Swapping for DNN Inference on Edge AI Devices Beyond the Memory Budget [18.63754969602021]
  エッジ人工知能(AI)デバイス上のディープニューラルネットワーク(DNN)は、さまざまな自律的なモバイルコンピューティングアプリケーションを可能にする。 モデル圧縮やクラウドオフロードといった既存のソリューションは、DNN推論のメモリフットプリントを減らす。 We developed SwapNet, a efficient block swapping ecosystem for edge AI devices。
  論文  参考訳（メタデータ） (2024-01-30T05:29:49Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• SmartSAGE: Training Large-scale Graph Neural Networks using In-Storage Processing Architectures [0.7792020418343023]
  グラフニューラルネットワーク(GNN)は、各オブジェクト(グラフノード)の表現と、異なるオブジェクト間の関係の両方を学ぶことによって、特徴を抽出することができる。 その強みにもかかわらず、これらのアルゴリズムを本番環境で利用することは、グラフノードとエッジの数が数十億から数十億の規模になるため、いくつかの課題に直面します。 本研究では,現在最先端の大規模GNN学習アルゴリズムであるGraphAGESの詳細な特徴付けを行う。 キャパシティ最適化NVMを用いたストレージの実現可能性について検討する。
  論文  参考訳（メタデータ） (2022-05-10T07:25:30Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Enabling Homomorphically Encrypted Inference for Large DNN Models [1.0679692136113117]
  ホモモルフィック暗号化(HE)は暗号化データを使用した推論を可能にするが、100x--10,000xメモリと実行時のオーバーヘッドが発生する。 HEを用いたセキュアディープニューラルネットワーク(DNN)推論は現在、コンピューティングとメモリリソースによって制限されている。 DRAMと永続メモリからなるハイブリッドメモリシステムの利用可能性を検討する。
  論文  参考訳（メタデータ） (2021-03-30T07:53:34Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。