論文の概要: Consistency Training of Multi-exit Architectures for Sensor Data

• arxiv url: http://arxiv.org/abs/2109.13192v1
• Date: Mon, 27 Sep 2021 17:11:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 18:52:14.106833
• Title: Consistency Training of Multi-exit Architectures for Sensor Data
• Title（参考訳）: センサデータのためのマルチエクイトアーキテクチャの一貫性トレーニング
• Authors: Aaqib Saeed
• Abstract要約: 本稿では,一貫した出口訓練(Continuous exit training)と呼ばれるマルチエクイットアーキテクチャの堅牢なトレーニングのための,新規かつアーキテクチャに依存しないアプローチを提案する。 弱監督を利用して、モデルの出力を整合性トレーニングと整合させ、ネットワーク内の出口に対してマルチタスク学習方式で二重空間を協調的に最適化する。
• 参考スコア（独自算出の注目度）: 0.07614628596146598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have become larger over the years with increasing demand of computational resources for inference; incurring exacerbate costs and leaving little room for deployment on devices with limited battery and other resources for real-time applications. The multi-exit architectures are type of deep neural network that are interleaved with several output (or exit) layers at varying depths of the model. They provide a sound approach for improving computational time and energy utilization of running a model through producing predictions from early exits. In this work, we present a novel and architecture-agnostic approach for robust training of multi-exit architectures termed consistent exit training. The crux of the method lies in a consistency-based objective to enforce prediction invariance over clean and perturbed inputs. We leverage weak supervision to align model output with consistency training and jointly optimize dual-losses in a multi-task learning fashion over the exits in a network. Our technique enables exit layers to generalize better when confronted with increasing uncertainty, hence, resulting in superior quality-efficiency trade-offs. We demonstrate through extensive evaluation on challenging learning tasks involving sensor data that our approach allows examples to exit earlier with better detection rate and without executing all the layers in a deep model.
• Abstract（参考訳）: 深層ニューラルネットワークは、推論のための計算リソースの需要が増大し、コストが悪化し、バッテリーやリアルタイムアプリケーションのためのリソースが制限されたデバイスに展開する余地がほとんどないなど、長年にわたって拡大してきた。 マルチエグジットアーキテクチャは、モデルのさまざまな深さで複数の出力(または出口)層とインターリーブされたディープニューラルネットワークの一種である。 初期出口からの予測を生成することによって、モデルの実行の計算時間とエネルギー利用を改善するための健全なアプローチを提供する。 本研究では,一貫したエグジットトレーニングと呼ばれるマルチエクイットアーキテクチャの堅牢なトレーニングのための,新規かつアーキテクチャに依存しないアプローチを提案する。 この手法の要点は、クリーンで摂動的な入力に対して予測不変性を強制する一貫性に基づく目的にある。 我々は,モデルのアウトプットを一貫性トレーニングと整合させ,ネットワークのイグジットよりもマルチタスク学習形式でのデュアルロスを協調的に最適化する。 本手法により,不確実性の増加に直面すると,出口層が一般化し,品質効率のトレードオフが良好になる。 センサデータを含む課題学習タスクの広範な評価を通じて,本手法では,より優れた検出率で,さらに深いモデルですべてのレイヤを実行することなく,早期に終了できることを示す。

関連論文リスト

• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• DynaLay: An Introspective Approach to Dynamic Layer Selection for Deep Networks [0.0]
  textbfDynaLayは、各入力を処理するのに最適な層を適応的に選択するための意思決定エージェントを備えた代替アーキテクチャである。 DynaLayは推論中により複雑な入力を再評価し、パフォーマンスと効率の両方を最適化するために計算作業を調整する。 実験により,DynaLayは従来のディープモデルに匹敵する精度を達成し,計算要求を大幅に低減することを示した。
  論文  参考訳（メタデータ） (2023-12-20T05:55:05Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Rethinking Pareto Frontier for Performance Evaluation of Deep Neural Networks [2.167843405313757]
  多目的最適化を用いて効率測定を再定義する。 競合変数と自然を同時に1つの相対効率尺度で組み合わせる。 これにより、異なるコンピューティングハードウェア上で効率的に動作するディープモデルをランク付けし、推論効率とトレーニング効率を客観的に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-02-18T15:58:17Z)
• Improving the Accuracy of Early Exits in Multi-Exit Architectures via Curriculum Learning [88.17413955380262]
  マルチエクイットアーキテクチャにより、ディープニューラルネットワークは、正確なコストで厳密な期限に従うために、実行を早期に終了することができる。 カリキュラム学習を活用したマルチエクジットカリキュラム学習という新しい手法を紹介します。 本手法は, 標準訓練手法と比較して, 早期終了の精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2021-04-21T11:12:35Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• Real-time Federated Evolutionary Neural Architecture Search [14.099753950531456]
  フェデレーション学習(Federated Learning)は、プライバシ保護のための分散機械学習アプローチである。 本稿では、モデル性能を最適化するだけでなく、局所的なペイロードを削減するリアルタイムフェデレーションニューラルネットワーク探索への進化的アプローチを提案する。 このようにして、進化的最適化に必要な計算・通信コストを効果的に削減し、局所モデルの大きな性能変動を回避する。
  論文  参考訳（メタデータ） (2020-03-04T17:03:28Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。