論文の概要: Bespoke: A Block-Level Neural Network Optimization Framework for Low-Cost Deployment

• arxiv url: http://arxiv.org/abs/2303.01913v1
• Date: Fri, 3 Mar 2023 13:27:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 15:07:08.744160
• Title: Bespoke: A Block-Level Neural Network Optimization Framework for Low-Cost Deployment
• Title（参考訳）: Bespoke: 低コストデプロイメントのためのブロックレベルニューラルネットワーク最適化フレームワーク
• Authors: Jong-Ryul Lee and Yong-Hyuk Moon
• Abstract要約: 低コストデプロイメントのための新しいニューラルネットワーク最適化フレームワークBespokeを提案する。 本フレームワークは,オリジナルモデルの一部をランダムに選択した代替品に置き換えることで,軽量モデルを求める。 我々は,Bespokeのメリットを探索する実験を行い,その結果から,単純なコストで複数の目標に対する効率的なモデルを見出すことができた。
• 参考スコア（独自算出の注目度）: 3.756550107432323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As deep learning models become popular, there is a lot of need for deploying them to diverse device environments. Because it is costly to develop and optimize a neural network for every single environment, there is a line of research to search neural networks for multiple target environments efficiently. However, existing works for such a situation still suffer from requiring many GPUs and expensive costs. Motivated by this, we propose a novel neural network optimization framework named Bespoke for low-cost deployment. Our framework searches for a lightweight model by replacing parts of an original model with randomly selected alternatives, each of which comes from a pretrained neural network or the original model. In the practical sense, Bespoke has two significant merits. One is that it requires near zero cost for designing the search space of neural networks. The other merit is that it exploits the sub-networks of public pretrained neural networks, so the total cost is minimal compared to the existing works. We conduct experiments exploring Bespoke's the merits, and the results show that it finds efficient models for multiple targets with meager cost.
• Abstract（参考訳）: ディープラーニングモデルが普及するにつれて、さまざまなデバイス環境にデプロイする必要がある。 ニューラルネットワークを各環境向けに開発・最適化するのは費用がかかるため、複数のターゲット環境に対して効率的にニューラルネットワークを探索するための一連の研究がある。 しかし、このような状況に対する既存の作業は、多くのgpuと高価なコストを必要とする。 そこで我々は,低コストデプロイメントのための新しいニューラルネットワーク最適化フレームワークBespokeを提案する。 私たちのフレームワークは、トレーニング済みのニューラルネットワークまたはオリジナルのモデルから得られる、ランダムに選択された代替品に元のモデルの一部を置き換えることで、軽量なモデルを検索します。 実用的な意味では、bespokeには2つの大きなメリットがある。 ひとつは、ニューラルネットワークの検索空間を設計するのに、ほぼゼロコストを必要とすることだ。 もう1つのメリットは、公開事前訓練されたニューラルネットワークのサブネットワークを利用することだ。 我々はbespokeのメリットを探求する実験を行い,その結果,複数のターゲットに対する効率的なモデルを見出すことができた。

関連論文リスト

• NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance [0.0]
  我々は、トレーニングなしで最適なニューラルネットワークを特定するために、アクティベーションランク(NEAR)によるゼロコストプロキシネットワーク表現を提案する。 このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
  論文  参考訳（メタデータ） (2024-08-16T14:38:14Z)
• Neural-g: A Deep Learning Framework for Mixing Density Estimation [16.464806944964003]
  混合(または先行)密度推定は、機械学習と統計学において重要な問題である。 本稿では,新しいニューラルネットワークを用いたモデリング手法であるNeural-$g$を提案する。
  論文  参考訳（メタデータ） (2024-06-10T03:00:28Z)
• Multi Level Dense Layer Neural Network Model for Housing Price Prediction [0.0]
  著者らは、住宅価格予測の性能を改善するために、ニューラルネットワークベースの新しいモデルを提案する。 提案するモデルは,並列に情報を処理可能な3レベルニューラルネットワークで構成されている。 その結果,提案モデルでは精度が向上し,評価基準の異なる既存アルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T08:46:26Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• MutualNet: Adaptive ConvNet via Mutual Learning from Different Model Configurations [51.85020143716815]
  MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。 提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。 MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
  論文  参考訳（メタデータ） (2021-05-14T22:30:13Z)
• A Framework For Pruning Deep Neural Networks Using Energy-Based Models [45.4796383952516]
  典型的なディープニューラルネットワーク(DNN)は、多数のトレーニング可能なパラメータを持つ。 そこで本研究では,人口統計量に基づく大域的最適化手法に基づくDNNの刈り取りフレームワークを提案する。 ResNets、AlexNet、SqueezeNetの実験では、トレーニング可能なパラメータの50ドル以上のプルーニングレートを示している。
  論文  参考訳（メタデータ） (2021-02-25T21:44:19Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。