論文の概要: Transfer-Once-For-All: AI Model Optimization for Edge

• arxiv url: http://arxiv.org/abs/2303.15485v2
• Date: Sun, 2 Jul 2023 17:21:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-04 14:03:22.049921
• Title: Transfer-Once-For-All: AI Model Optimization for Edge
• Title（参考訳）: Transfer-Once-For-All:エッジのためのAIモデル最適化
• Authors: Achintya Kundu (IBM Research), Laura Wynter (IBM Research), Rhui Dih Lee (IBM Research), Luis Angel Bathen (IBM Research)
• Abstract要約: 計算訓練コストを一定に抑えた小データセット上でのスーパーネット型トレーニングのためのTransfer-Once-For-All(TOFA)を提案する。 小さなデータから生じる課題を克服するため、TOFAは、統合された半教師付きトレーニング損失を使用して、スーパーネット内のすべての既存のものを同時にトレーニングする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Weight-sharing neural architecture search aims to optimize a configurable neural network model (supernet) for a variety of deployment scenarios across many devices with different resource constraints. Existing approaches use evolutionary search to extract models of different sizes from a supernet trained on a very large data set, and then fine-tune the extracted models on the typically small, real-world data set of interest. The computational cost of training thus grows linearly with the number of different model deployment scenarios. Hence, we propose Transfer-Once-For-All (TOFA) for supernet-style training on small data sets with constant computational training cost over any number of edge deployment scenarios. Given a task, TOFA obtains custom neural networks, both the topology and the weights, optimized for any number of edge deployment scenarios. To overcome the challenges arising from small data, TOFA utilizes a unified semi-supervised training loss to simultaneously train all subnets within the supernet, coupled with on-the-fly architecture selection at deployment time.
• Abstract（参考訳）: 重量共有型ニューラルネットワークサーチは、リソース制約の異なる多くのデバイスにまたがるさまざまなデプロイメントシナリオに対して、設定可能なニューラルネットワークモデル(スーパーネット)を最適化することを目的としている。 既存のアプローチでは、進化的探索を用いて、非常に大きなデータセットで訓練されたスーパーネットから異なるサイズのモデルを抽出し、典型的な小さな実世界のデータセットで抽出されたモデルを微調整する。 これにより、トレーニングの計算コストは、異なるモデル展開シナリオの数に応じて線形に増加する。 そこで我々は,任意のエッジ配置シナリオに対して一定の計算訓練コストの小さなデータセット上でのスーパーネット型トレーニングのためのTransfer-Once-For-All(TOFA)を提案する。 タスクを与えられたTOFAは、さまざまなエッジデプロイメントシナリオに最適化されたトポロジとウェイトの両方のカスタムニューラルネットワークを取得する。 小さなデータから生じる課題を克服するため、TOFAは、統合された半教師付きトレーニング損失を使用して、スーパーネット内のすべてのサブネットを同時にトレーニングし、デプロイ時にオンザフライアーキテクチャの選択と組み合わせる。

関連論文リスト

• Efficient Supernet Training with Orthogonal Softmax for Scalable ASR Model Compression [43.25633915651986]
  我々は、スーパーネットトレーニングを用いて、様々なサイズの複数のエンコーダを共同で訓練し、冗長なトレーニングをすることなく、動的モデルサイズ調整をハードウェア制約に適合させることができる。 我々は,複数のソフトマックス関数を適用して,スーパーネット内の最適点を効率的に同定するOrthoSoftmaxという新しい手法を提案する。 CTC on Librispeech と TED-Lium-v2 による結果から,FLOPs を意識したコンポーネント選択が全体的な性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2025-01-31T05:23:03Z)
• No Free Lunch From Random Feature Ensembles [23.661623767100384]
  モデル全体のサイズに関する予算が与えられた場合、単一の大きなニューラルネットワークをトレーニングするか、あるいは多数の小さなネットワークの予測を組み合わせるかを判断する必要がある。 トレーニング可能なパラメータの固定数が、独立に訓練されたモデルで$K$に分割された場合、$K=1$が最適な性能を達成することを証明した。 カーネルおよびタスク固有構造上の条件を特定し、アンサンブルがほぼ最適スケーリング法則を達成できることを示す。
  論文  参考訳（メタデータ） (2024-12-06T20:55:27Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• SortedNet: A Scalable and Generalized Framework for Training Modular Deep Neural Networks [30.069353400127046]
  我々は、ディープニューラルネットワーク(DNN)の固有のモジュラリティを活用するためにSortedNetを提案する。 SortedNetは、メインモデルのトレーニングと同時にサブモデルのトレーニングを可能にする。 一度に160台のサブモデルを訓練でき、オリジナルのモデルの性能の少なくとも96%を達成できる。
  論文  参考訳（メタデータ） (2023-09-01T05:12:25Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Supernet Training for Federated Image Classification under System Heterogeneity [15.2292571922932]
  本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。 フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。 本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
  論文  参考訳（メタデータ） (2022-06-03T02:21:01Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。