論文の概要: Dynamic Switch Layers For Unsupervised Learning

• arxiv url: http://arxiv.org/abs/2404.04405v1
• Date: Fri, 5 Apr 2024 21:03:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 21:18:18.389774
• Title: Dynamic Switch Layers For Unsupervised Learning
• Title（参考訳）: 教師なし学習のための動的スイッチ層
• Authors: Haiguang Li, Usama Pervaiz, Michał Matuszak, Robert Kamara, Gilles Roux, Trausti Thormundsson, Joseph Antognini,
• Abstract要約: オンデバイス機械学習(ODML)は、リソース制約のあるデバイスにおけるインテリジェントなアプリケーションを可能にする。 電力消費は大きな課題となり、モデル精度と電力効率のトレードオフを強要する。 我々は、GCレイヤの利点を教師なしの学習シナリオに拡張するために、Dynamic Switch Layer(DSL)を導入します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device machine learning (ODML) enables intelligent applications on resource-constrained devices. However, power consumption poses a major challenge, forcing a trade-off between model accuracy and power efficiency that often limits model complexity. The previously established Gated Compression (GC) layers offer a solution, enabling power efficiency without sacrificing model performance by selectively gating samples that lack signals of interest. However, their reliance on ground truth labels limits GC layers to supervised tasks. This work introduces the Dynamic Switch Layer (DSL), extending the benefits of GC layers to unsupervised learning scenarios, and maintaining power efficiency without the need for labeled data. The DSL builds upon the GC architecture, leveraging a dynamic pathway selection, and adapting model complexity in response to the innate structure of the data. We integrate the DSL into the SoundStream architecture and demonstrate that by routing up to 80% of samples through a lightweight pass we achieve a 12.3x reduction in the amount of computation performed and a 20.9x reduction in model size. This reduces the on-device inference latency by up to 26.5% and improves power efficiency by up to 21.4% without impacting model performance.
• Abstract（参考訳）: オンデバイス機械学習(ODML)は、リソース制約のあるデバイスにおけるインテリジェントなアプリケーションを可能にする。 しかし、消費電力は大きな課題となり、モデルの精度とモデルの複雑さを制限する電力効率のトレードオフを強いることになる。 以前に確立されたGated Compression (GC) レイヤは、関心のシグナルを欠いたサンプルを選択的にゲーティングすることで、モデル性能を犠牲にすることなく電力効率を向上するソリューションを提供する。 しかし、地上の真理ラベルに依存しているため、GC層は教師付きタスクに制限される。 この作業では、動的スイッチ層(DSL)を導入し、GC層の利点を教師なしの学習シナリオに拡張し、ラベル付きデータを必要とせずに電力効率を維持する。 DSLはGCアーキテクチャの上に構築され、動的な経路選択を活用し、データ固有の構造に対応するためにモデルの複雑さを適用します。 我々は、DSLをSoundStreamアーキテクチャに統合し、軽量パスを介して80%のサンプルをルーティングすることで、処理量12.3倍の削減とモデルサイズ20.9倍の削減を実現していることを示す。 これにより、デバイス上の推論遅延を最大26.5%削減し、モデルのパフォーマンスに影響を与えることなく、最大21.4%の電力効率を改善することができる。

関連論文リスト

• Dynamic layer selection in decoder-only transformers [21.18795712840146]
  自然言語生成のための2つの一般的な動的推論手法を実証的に検討する。 トレーニング済みのデコーダのみのモデルでは,層スキップによる層除去が著しく堅牢であることがわかった。 また、シーケンス毎の動的計算割り当ては、大きな効率向上を約束することを示す。
  論文  参考訳（メタデータ） (2024-10-26T00:44:11Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
  安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。 本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-31T21:47:05Z)
• Enhancing User Experience in On-Device Machine Learning with Gated Compression Layers [0.0]
  オンデバイス機械学習(ODML)は強力なエッジアプリケーションを実現するが、リソース制約のあるデバイスにとって電力消費は依然として重要な課題である。 本研究は,パワーを保ちながらODMLモデル性能を向上させるため,GC(Gated Compression)層の利用に焦点を当てる。 GCレイヤは、ニューラルネットワーク内のニューロンの活性化を選択的にゲーティングし、非必要入力を効果的にフィルタリングすることで、データフローを動的に制御する。
  論文  参考訳（メタデータ） (2024-05-02T21:18:06Z)
• LD-Pruner: Efficient Pruning of Latent Diffusion Models using Task-Agnostic Insights [2.8461446020965435]
  本稿では,遅延拡散モデル圧縮のための新しい性能保存型構造化プルーニング手法であるLD-Prunerを紹介する。 我々は,テキスト・トゥ・イメージ(T2I)生成,無条件画像生成(UIG),無条件音声生成(UAG)の3つのタスクに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T06:35:37Z)
• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach [79.59560136273917]
  デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
  論文  参考訳（メタデータ） (2022-04-20T19:09:52Z)
• Learning to Generate Content-Aware Dynamic Detectors [62.74209921174237]
  サンプル適応型モデルアーキテクチャを自動的に生成する効率的な検出器の設計を新たに導入する。 動的ルーティングの学習を導くために、オブジェクト検出に適したコースツーファインの成層図を紹介します。 MS-COCOデータセットの実験により、CADDetはバニラルーティングに比べて10%少ないFLOPで1.8以上のmAPを達成することが示された。
  論文  参考訳（メタデータ） (2020-12-08T08:05:20Z)
• Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
  Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。 CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。 ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
  論文  参考訳（メタデータ） (2020-07-29T23:17:48Z)
• Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
  そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。 我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-03-12T07:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。