Fugu-MT 論文翻訳(概要): Improved Projection Learning for Lower Dimensional Feature Maps

論文の概要: Improved Projection Learning for Lower Dimensional Feature Maps

arxiv url: http://arxiv.org/abs/2210.15170v1
Date: Thu, 27 Oct 2022 04:44:53 GMT
ステータス: 処理完了
システム内更新日: 2022-10-28 13:20:00.284252
Title: Improved Projection Learning for Lower Dimensional Feature Maps
Title（参考訳）: 低次元特徴写像の投影学習の改善
Authors: Ilan Price and Jared Tanner
Abstract要約: 本稿では,事前学習したCNNのすべての特徴マップを,指定された限界以下に圧縮する改良手法を提案する。これは、エンドツーエンドの微調整によって訓練された学習されたプロジェクションによって行われる。また,このような手法を,将来的な推論の目標であるチップ上で完全に実行することの観点から評価する,新しい天井圧縮フレームワークについても紹介する。
参考スコア（独自算出の注目度）: 7.6146285961466
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The requirement to repeatedly move large feature maps off- and on-chip during inference with convolutional neural networks (CNNs) imposes high costs in terms of both energy and time. In this work we explore an improved method for compressing all feature maps of pre-trained CNNs to below a specified limit. This is done by means of learned projections trained via end-to-end finetuning, which can then be folded and fused into the pre-trained network. We also introduce a new `ceiling compression' framework in which evaluate such techniques in view of the future goal of performing inference fully on-chip.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)を用いた推論において、大きな特徴マップをオンチップで繰り返し移動させることは、エネルギーと時間の両方の観点から高いコストを課す。本研究では,事前学習されたcnnの機能マップを,所定の制限値以下まで圧縮する改良手法について検討する。これは、エンドツーエンドの微調整を通じてトレーニングされた学習されたプロジェクションによって行われる。また, 完全にオンチップで推論を行うという今後の目標の観点から, これらの手法を評価する 'ceiling compression' フレームワークも紹介する。

関連論文リスト

Deep Loss Convexification for Learning Iterative Models [11.36644967267829]
点雲登録のための反復的最近点(ICP)のような反復的手法は、しばしば悪い局所最適性に悩まされる。我々は,各地真実の周囲に凸景観を形成する学習を提案する。
論文参考訳（メタデータ） (2024-11-16T01:13:04Z)
Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition [11.399520888150468]
ローランド誘導訓練(LoRITa)と呼ばれる理論的修正手法を提案する。 LoRITaは線形層を構成することで低ランク化を促進し、特異値切り込みを用いて圧縮する。我々は,完全連結ネットワーク上でのMNIST,視覚変換器上でのCIFAR10,畳み込みニューラルネットワーク上でのCIFAR10/100と画像ネットを用いたアプローチの有効性を示す。
論文参考訳（メタデータ） (2024-05-06T00:58:23Z)
Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
論文参考訳（メタデータ） (2022-04-26T08:09:47Z)
Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
論文参考訳（メタデータ） (2022-02-10T21:45:49Z)
Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
論文参考訳（メタデータ） (2021-08-20T11:53:05Z)
Layer Folding: Neural Network Depth Reduction using Activation Linearization [0.0]
現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
論文参考訳（メタデータ） (2021-06-17T08:22:46Z)
Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文参考訳（メタデータ） (2020-12-10T22:30:25Z)
Backprojection for Training Feedforward Neural Networks in the Input and Feature Spaces [12.323996999894002]
本稿では,バックプロパゲーションよりもかなり高速なフィードフォワードニューラルネットワークのトレーニングアルゴリズムを提案する。提案アルゴリズムは、それぞれバックプロジェクションとカーネルバックプロジェクションと呼ばれる入力空間と特徴空間の両方に利用できる。
論文参考訳（メタデータ） (2020-04-05T20:53:11Z)
Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文参考訳（メタデータ） (2020-03-03T07:27:44Z)
Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。上記の問題に対処するための特徴歪み法(Disout)を提案する。より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文参考訳（メタデータ） (2020-02-23T13:59:13Z)
Robust Pruning at Initialization [61.30574156442608]
計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
論文参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。