論文の概要: EuclidNets: An Alternative Operation for Efficient Inference of Deep Learning Models

• arxiv url: http://arxiv.org/abs/2212.11803v1
• Date: Thu, 22 Dec 2022 15:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 15:12:44.561204
• Title: EuclidNets: An Alternative Operation for Efficient Inference of Deep Learning Models
• Title（参考訳）: EuclidNets: ディープラーニングモデルの効率的な推論のための代替操作
• Authors: Xinlin Li, Mariana Parazeres, Adam Oberman, Alireza Ghaffari, Masoud Asgharian, Vahid Partovi Nia
• Abstract要約: EuclidNetは、乗算を置き換えるハードウェア上に実装されるように設計された圧縮手法である。 我々は,EuclidNetが行列乗法と整合していることを示し,畳み込み層の場合の類似性の尺度として利用できることを示した。
• 参考スコア（独自算出の注目度）: 2.715806580963474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of deep learning application on edge devices, researchers actively try to optimize their deployments on low-power and restricted memory devices. There are established compression method such as quantization, pruning, and architecture search that leverage commodity hardware. Apart from conventional compression algorithms, one may redesign the operations of deep learning models that lead to more efficient implementation. To this end, we propose EuclidNet, a compression method, designed to be implemented on hardware which replaces multiplication, $xw$, with Euclidean distance $(x-w)^2$. We show that EuclidNet is aligned with matrix multiplication and it can be used as a measure of similarity in case of convolutional layers. Furthermore, we show that under various transformations and noise scenarios, EuclidNet exhibits the same performance compared to the deep learning models designed with multiplication operations.
• Abstract（参考訳）: エッジデバイスにディープラーニングアプリケーションが出現すると、研究者は低消費電力で制限されたメモリデバイスへのデプロイを積極的に最適化しようとする。 量子化やプルーニング,アーキテクチャ検索といった,コモディティハードウェアを活用した圧縮手法が確立されている。 従来の圧縮アルゴリズムとは別に、より効率的な実装につながるディープラーニングモデルの操作を再設計することができる。 この目的のために,Euclidean 距離 $(x-w)^2$ で乗算を$xw$ に置き換えるハードウェア上で実装される圧縮手法である EuclidNet を提案する。 我々は,EuclidNetが行列乗法と整合していることを示し,畳み込み層の場合の類似性の尺度として利用できることを示した。 さらに、様々な変換や雑音のシナリオにおいて、EuclidNetは乗算操作で設計されたディープラーニングモデルと同等の性能を示すことを示す。

関連論文リスト

• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• Ada-QPacknet -- adaptive pruning with bit width reduction as an efficient continual learning method without forgetting [0.8681331155356999]
  この作業では、新しいアーキテクチャベースのアプローチであるAda-QPacknetについて説明する。 タスクごとにサブネットワークを抽出するプルーニングが組み込まれている。 その結果,提案手法はタスクおよびクラスインクリメンタルシナリオにおいてCL戦略の大部分を上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-08-14T12:17:11Z)
• Automated Sizing and Training of Efficient Deep Autoencoders using Second Order Algorithms [0.46040036610482665]
  一般化線形分類器の多段階学習法を提案する。 検証エラーは不要な入力のプルーニングによって最小化される。 所望の出力は、Ho-Kashyapルールに似た方法で改善される。
  論文  参考訳（メタデータ） (2023-08-11T16:48:31Z)
• On a class of geodesically convex optimization problems solved via Euclidean MM methods [50.428784381385164]
  ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。 最終的に、より広い範囲、より広い範囲の作業を支援するのです。
  論文  参考訳（メタデータ） (2022-06-22T23:57:40Z)
• Geometric Optimisation on Manifolds with Applications to Deep Learning [6.85316573653194]
  これらの強力なツールをすべて使用して、非専門家を支援するために、Pythonライブラリを設計、実装しています。 このライブラリに実装されたアルゴリズムは、ユーザビリティとGPU効率を念頭に設計されている。
  論文  参考訳（メタデータ） (2022-03-09T15:20:07Z)
• DCT-Former: Efficient Self-Attention with Discrete Cosine Transform [4.622165486890318]
  トラスフォルマーアーキテクチャの本質的な制限は、ドット積の注意の計算から生じる。 我々のアイデアは、アテンションモジュールの近似を導き出すために、損失の多いデータ圧縮(JPEGアルゴリズムなど)の世界からインスピレーションを得ている。 実験の広範なセクションでは,提案手法が同一性能のメモリを消費しにくくする一方で,推定時間を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2022-03-02T15:25:27Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)
• Learning to map between ferns with differentiable binary embedding networks [4.827284036182784]
  本稿では,エンド・ツー・エンド・ネットワークにおける異種ランダム・ファーンの適用を可能にする新しい概念を提案する。 次に、ディープネットワークアーキテクチャにおける乗算不要な畳み込み層として使用することができる。
  論文  参考訳（メタデータ） (2020-05-26T08:13:23Z)
• Neural Network Compression Framework for fast model inference [59.65531492759006]
  我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。 様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。 フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
  論文  参考訳（メタデータ） (2020-02-20T11:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。