論文の概要: MIME: Adapting a Single Neural Network for Multi-task Inference with Memory-efficient Dynamic Pruning

• arxiv url: http://arxiv.org/abs/2204.05274v1
• Date: Mon, 11 Apr 2022 17:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 15:00:38.246058
• Title: MIME: Adapting a Single Neural Network for Multi-task Inference with Memory-efficient Dynamic Pruning
• Title（参考訳）: MIME:メモリ効率を考慮したマルチタスク推論に単一ニューラルネットワークを適用する
• Authors: Abhiroop Bhattacharjee, Yeshwanth Venkatesha, Abhishek Moitra, and Priyadarshini Panda
• Abstract要約: マルチタスクシナリオにおける推論のためのメモリとエネルギー効率のソリューションが必要である。 我々はMIMEと呼ばれるアルゴリズムとハードウェアの協調設計手法を提案する。 MIMEは複数のタスクに対するニューラル・ネットワークパラメータの高メモリ効率DRAMストレージを実現する。
• 参考スコア（独自算出の注目度）: 2.0719821637003184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have seen a paradigm shift towards multi-task learning. This calls for memory and energy-efficient solutions for inference in a multi-task scenario. We propose an algorithm-hardware co-design approach called MIME. MIME reuses the weight parameters of a trained parent task and learns task-specific threshold parameters for inference on multiple child tasks. We find that MIME results in highly memory-efficient DRAM storage of neural-network parameters for multiple tasks compared to conventional multi-task inference. In addition, MIME results in input-dependent dynamic neuronal pruning, thereby enabling energy-efficient inference with higher throughput on a systolic-array hardware. Our experiments with benchmark datasets (child tasks)- CIFAR10, CIFAR100, and Fashion-MNIST, show that MIME achieves ~3.48x memory-efficiency and ~2.4-3.1x energy-savings compared to conventional multi-task inference in Pipelined task mode.
• Abstract（参考訳）: 近年、マルチタスク学習へのパラダイムシフトが見られる。 これは、マルチタスクシナリオにおける推論のためのメモリとエネルギー効率のソリューションを要求する。 我々はMIMEと呼ばれるアルゴリズムとハードウェアの協調設計手法を提案する。 MIMEは訓練された親タスクの重みパラメータを再利用し、複数の子タスクに対する推論のためのタスク固有のしきい値パラメータを学習する。 MIMEは、従来のマルチタスク推論と比較して、複数のタスクに対する神経ネットワークパラメータの高メモリ効率なDRAM記憶を実現する。 さらにmimeは入力依存性の動的ニューロンプラニングを生じさせ、シストリックアレイハードウェア上で高いスループットを持つエネルギー効率の推論を可能にする。 CIFAR10, CIFAR100, および Fashion-MNIST のベンチマーク・データセットを用いた実験により, MIME のメモリ効率は ~3.48倍, ~2.4-3.1 倍の省エネ性を示した。

関連論文リスト

• RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception [64.80760846124858]
  本稿では,様々な知覚タスクの表現を調和させる新しい統一表現RepVFを提案する。 RepVFは、ベクトル場を通じてシーン内の異なるターゲットの構造を特徴付け、シングルヘッドでマルチタスクの学習モデルを可能にする。 RepVF 上に構築された RFTR は,タスク間の固有性を利用したネットワークである。
  論文  参考訳（メタデータ） (2024-07-15T16:25:07Z)
• DynaPipe: Optimizing Multi-task Training through Dynamic Pipelines [15.332562681746081]
  本稿では,シーケンス長の変動に対処し,マルチタスクモデルの効率的なトレーニングを実現するための動的マイクロバッチ手法を提案する。 動的プログラミングを用いたマイクロバッチ構築を最適化し、動的パイプラインと通信スケジューリングによるマイクロバッチ実行時間変動を処理する。
  論文  参考訳（メタデータ） (2023-11-17T09:48:45Z)
• A Dynamic Feature Interaction Framework for Multi-task Visual Perception [100.98434079696268]
  複数の共通認識課題を解決するための効率的な統合フレームワークを考案する。 これらのタスクには、インスタンスセグメンテーション、セマンティックセグメンテーション、モノクル3D検出、深さ推定が含まれる。 提案するフレームワークはD2BNetと呼ばれ,マルチタスク認識のためのパラメータ効率予測に一意なアプローチを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:24:46Z)
• Polyhistor: Parameter-Efficient Multi-Task Adaptation for Dense Vision Tasks [36.34331439747556]
  本稿では,複数のタスクにまたがる情報をトレーニング可能なパラメータで共有するために,PolyhistorとPolyhistor-Liteを提案する。 具体的には、Polyhistorは、トレーニング可能なパラメータの10%しか使用せず、最先端技術と比較して、競争精度を達成している。
  論文  参考訳（メタデータ） (2022-10-07T00:25:02Z)
• DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
  DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。 実験の結果,様々な設定や設定において優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-09T17:57:46Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Multi-Task Processes [13.362632630637707]
  複数のプロセスから実現されたタスクを推論するためのマルチタスクプロセス(MTP)を提案する。 MTPは,様々な実世界のデータから相関関係を発見し,活用することで,複数のタスクを協調的にモデル化できることを示す。
  論文  参考訳（メタデータ） (2021-10-28T08:45:43Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
  特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。 本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
  論文  参考訳（メタデータ） (2020-01-19T21:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。