Fugu-MT 論文翻訳(概要): Class Means as an Early Exit Decision Mechanism

論文の概要: Class Means as an Early Exit Decision Mechanism

arxiv url: http://arxiv.org/abs/2103.01148v1
Date: Mon, 1 Mar 2021 17:31:55 GMT
ステータス: 処理完了
システム内更新日: 2021-03-03 16:58:39.979738
Title: Class Means as an Early Exit Decision Mechanism
Title（参考訳）: 早期退行決定機構としてのクラス平均
Authors: Alperen Gormez and Erdem Koyuncu
Abstract要約: 本稿では,サンプルの類型的手法に基づく新しい早期出口手法を提案する。この手法は低消費電力デバイスにおけるニューラルネットワークトレーニングに特に有用である。
参考スコア（独自算出の注目度）: 18.300490726072326
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: State-of-the-art neural networks with early exit mechanisms often need considerable amount of training and fine-tuning to achieve good performance with low computational cost. We propose a novel early exit technique based on the class means of samples. Unlike most existing schemes, our method does not require gradient-based training of internal classifiers. This makes our method particularly useful for neural network training in low-power devices, as in wireless edge networks. In particular, given a fixed training time budget, our scheme achieves higher accuracy as compared to existing early exit mechanisms. Moreover, if there are no limitations on the training time budget, our method can be combined with an existing early exit scheme to boost its performance, achieving a better trade-off between computational cost and network accuracy.
Abstract（参考訳）: 初期のエグジット機構を持つ最先端のニューラルネットワークは、計算コストの低い優れたパフォーマンスを達成するために、かなりの量のトレーニングと微調整を必要とする。本稿では,サンプルの類型的手法に基づく新しい早期出口手法を提案する。既存のほとんどのスキームとは異なり、我々の手法は内部分類器の勾配に基づく訓練を必要としない。これにより、無線エッジネットワークのように低消費電力デバイスでのニューラルネットワークトレーニングに特に有用である。特に,一定のトレーニング時間予算が与えられると,既存の早期脱出機構と比較して高い精度が得られる。さらに、トレーニング時間予算に制限がない場合、既存の早期終了方式と組み合わせて性能を向上し、計算コストとネットワーク精度のトレードオフを改善することができる。

関連論文リスト

Joint or Disjoint: Mixing Training Regimes for Early-Exit Models [3.052154851421859]
早期出口はディープニューラルネットワークに必要な計算量を大幅に削減する。ほとんどの早期出口法では、バックボーンネットワークと出口ヘッドを同時に訓練するか、出口ヘッドを別々に訓練する訓練戦略を採用している。本稿では,バックボーンを自力でトレーニングし,その後にバックボーンと出口ヘッドを併用したトレーニング手法を提案する。
論文参考訳（メタデータ） (2024-07-19T13:56:57Z)
Efficient Uncertainty Quantification and Reduction for Over-Parameterized Neural Networks [23.7125322065694]
不確実性定量化(UQ)は、機械学習モデルの信頼性評価と強化に重要である。統計学的に保証されたスキームを作成し、主に、過剰パラメータ化ニューラルネットワークの不確実性である、エンフェラクタライズし、エンフェレモーブする。特に,PNC予測器(Procedural-noise-correcting, Procedural-noise-correcting, PNC)に基づくアプローチでは,適切なラベル付きデータセットでトレーニングされたEmphone補助ネットワークのみを用いることで,手続き的不確実性を取り除く。
論文参考訳（メタデータ） (2023-06-09T05:15:53Z)
Prospect Pruning: Finding Trainable Weights at Initialization using Meta-Gradients [36.078414964088196]
初期化時にニューラルネットワークをプルーニングすることで、元のネットワークの精度を保ったスパースモデルを見つけることができる。現在の方法は、この最適化を可能にするには不十分であり、モデル性能の大幅な低下につながります。提案するProspect Pruning(ProsPr)は,最適化の最初の数ステップを通じてメタグラディエントを用いて,どの重み付けを行うかを決定する。本手法は,従来のプルーニング・アット・初期化手法と比較して,データの少ない1ショットで,様々な視覚分類タスクにおける最先端のプルーニング性能を実現する。
論文参考訳（メタデータ） (2022-02-16T15:18:55Z)
Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文参考訳（メタデータ） (2022-01-11T20:53:15Z)
Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文参考訳（メタデータ） (2021-06-16T15:57:51Z)
A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文参考訳（メタデータ） (2020-12-25T20:50:15Z)
A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
論文参考訳（メタデータ） (2020-12-21T17:39:51Z)
Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文参考訳（メタデータ） (2020-08-24T13:23:02Z)
HAPI: Hardware-Aware Progressive Inference [18.214367595727037]
畳み込みニューラルネットワーク(CNN)は最近、AIタスクの多様性における最先端技術となっている。その人気にもかかわらず、CNN推論は依然として高い計算コストがかかる。本研究は,ハイパフォーマンス・アーリーエグジット・ネットワークを創出するための新しい手法であるHAPIを提案する。
論文参考訳（メタデータ） (2020-08-10T09:55:18Z)
Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文参考訳（メタデータ） (2020-06-22T10:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。