論文の概要: Generative Model for Models: Rapid DNN Customization for Diverse Tasks
and Resource Constraints
- arxiv url: http://arxiv.org/abs/2308.15003v1
- Date: Tue, 29 Aug 2023 03:28:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 16:01:25.714825
- Title: Generative Model for Models: Rapid DNN Customization for Diverse Tasks
and Resource Constraints
- Title（参考訳）: モデル生成モデル:多様なタスクとリソース制約に対するdnnの迅速なカスタマイズ
- Authors: Wenxing Xu, Yuanchun Li, Jiacheng Liu, Yi Sun, Zhengyang Cao, Yixuan
Li, Hao Wen, Yunxin Liu
- Abstract要約: NN-Factoryは、さまざまなエッジシナリオ用にカスタマイズされた軽量モデルを生成する、オールツーオールのフレームワークである。
NN-Factoryの主なコンポーネントは、異なるタスクを達成するために条件付きアクティベート可能な、事前訓練されたモジュールを備えたモジュラースーパーネットである。
NN-Factoryは、従来のモデルのカスタマイズアプローチよりも桁違いに高速で、数秒で高品質なタスクやリソース固有のモデルを生成することができる。
- 参考スコア（独自算出の注目度）: 28.983470365172057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unlike cloud-based deep learning models that are often large and uniform,
edge-deployed models usually demand customization for domain-specific tasks and
resource-limited environments. Such customization processes can be costly and
time-consuming due to the diversity of edge scenarios and the training load for
each scenario. Although various approaches have been proposed for rapid
resource-oriented customization and task-oriented customization respectively,
achieving both of them at the same time is challenging. Drawing inspiration
from the generative AI and the modular composability of neural networks, we
introduce NN-Factory, an one-for-all framework to generate customized
lightweight models for diverse edge scenarios. The key idea is to use a
generative model to directly produce the customized models, instead of training
them. The main components of NN-Factory include a modular supernet with
pretrained modules that can be conditionally activated to accomplish different
tasks and a generative module assembler that manipulate the modules according
to task and sparsity requirements. Given an edge scenario, NN-Factory can
efficiently customize a compact model specialized in the edge task while
satisfying the edge resource constraints by searching for the optimal strategy
to assemble the modules. Based on experiments on image classification and
object detection tasks with different edge devices, NN-Factory is able to
generate high-quality task- and resource-specific models within few seconds,
faster than conventional model customization approaches by orders of magnitude.
- Abstract（参考訳）: 大規模で均一なクラウドベースのディープラーニングモデルとは異なり、エッジデプロイモデルは通常、ドメイン固有のタスクやリソース制限された環境のカスタマイズを要求する。
このようなカスタマイズプロセスは、エッジシナリオの多様性と各シナリオのトレーニング負荷のため、コストと時間がかかります。
資源指向の迅速なカスタマイズとタスク指向のカスタマイズには,様々なアプローチが提案されているが,どちらも同時に達成することは困難である。
生成AIとニューラルネットワークのモジュラー構成性からインスピレーションを得たNN-Factoryは、さまざまなエッジシナリオ用にカスタマイズされた軽量モデルを生成するための1対1のフレームワークである。
鍵となるアイデアは、生成モデルを使ってカスタマイズされたモデルを直接生成することです。
NN-Factoryの主なコンポーネントは、異なるタスクを達成するために条件付きアクティベート可能な事前訓練されたモジュールを備えたモジュールスーパーネットと、タスクとスパース性要件に従ってモジュールを操作する生成モジュールアセンブラである。
エッジシナリオが与えられると、nn-factoryはモジュールを組み立てるための最適な戦略を探すことによって、エッジタスクに特化したコンパクトなモデルを効率的にカスタマイズできる。
異なるエッジデバイスを用いた画像分類とオブジェクト検出タスクの実験に基づいて、NN-Factoryは数秒で高品質なタスクやリソース固有のモデルを生成することができる。
関連論文リスト
- A Model Is Not Built By A Single Prompt: LLM-Based Domain Modeling With Question Decomposition [4.123601037699469]
現実世界のドメインモデリングでは、エンジニアは通常複雑なタスクを簡単に解けるサブタスクに分解する。
本稿では,開発者のモデリングプロセスに類似した質問分解によるLLMに基づくドメインモデリング手法を提案する。
予備的な結果から,本手法は単発プロンプトによるプロンプトよりも優れていた。
論文 参考訳（メタデータ） (2024-10-13T14:28:04Z) - SortedNet: A Scalable and Generalized Framework for Training Modular Deep Neural Networks [30.069353400127046]
我々は、ディープニューラルネットワーク(DNN)の固有のモジュラリティを活用するためにSortedNetを提案する。
SortedNetは、メインモデルのトレーニングと同時にサブモデルのトレーニングを可能にする。
一度に160台のサブモデルを訓練でき、オリジナルのモデルの性能の少なくとも96%を達成できる。
論文 参考訳（メタデータ） (2023-09-01T05:12:25Z) - OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist
Models [72.8156832931841]
ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。
マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
論文 参考訳（メタデータ） (2022-12-08T17:07:09Z) - Deep Model Reassembly [60.6531819328247]
我々はDeep Model Reassembly(DeRy)と呼ばれる新しい知識伝達タスクを探索する。
DeRyの目標は、まず各モデルを固有のビルディングブロックに分割し、それから派生したブロックを選択的に再組み立てて、カスタマイズされたネットワークを生成することである。
ImageNetでは、最高の再組み立てモデルは微調整なしで78.6%のトップ1の精度を実現している。
論文 参考訳（メタデータ） (2022-10-24T10:16:13Z) - muNet: Evolving Pretrained Deep Neural Networks into Scalable
Auto-tuning Multitask Systems [4.675744559395732]
今日の機械学習のほとんどの用途は、特定のタスクのスクラッチからモデルをトレーニングすることや、関連するタスクで事前訓練されたモデルから始めて、下流タスクで微調整することである。
本稿では、事前訓練されたディープニューラルネットワークの層をビルディングブロックとして利用し、任意のタスクを共同で解決できるMLシステムを構築する方法を提案する。
得られたシステムはクロスタスクの知識伝達を利用でき、破滅的な忘れ、勾配の干渉、負の伝達といったマルチタスクアプローチの共通の欠点に免疫を持つ。
論文 参考訳（メタデータ） (2022-05-22T21:54:33Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing [110.4684789199555]
シナリオベースのセマンティックパーシングを導入し、最初に発話の「scenario」を曖昧にする必要がある元のタスクの変種を紹介します。
この定式化により、タスクの粗くきめ細かな側面を分離することが可能となり、それぞれがオフザシェルフニューラルネットワークモジュールで解決される。
私たちのモデルはモジュール化され、差別化可能で、解釈可能で、シナリオから余分な監督を得られるようになります。
論文 参考訳（メタデータ） (2022-02-02T08:00:21Z) - Data Summarization via Bilevel Optimization [48.89977988203108]
シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。
本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-26T09:08:38Z) - Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
マルチモーダル空間における条件生成のための新しい枠組みを提案する。
潜在変数を使って一般化可能な学習パターンをモデル化する。
推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
論文 参考訳（メタデータ） (2020-10-07T03:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。