論文の概要: Winograd Convolution for Deep Neural Networks: Efficient Point Selection
- arxiv url: http://arxiv.org/abs/2201.10369v1
- Date: Tue, 25 Jan 2022 15:00:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-26 15:37:58.445298
- Title: Winograd Convolution for Deep Neural Networks: Efficient Point Selection
- Title（参考訳）: 深層ニューラルネットワークのためのWinograd畳み込み:効率的な点選択
- Authors: Syed Asad Alam, Andrew Anderson, Barbara Barabasz and David Gregg
- Abstract要約: 本稿では,c に対する実数値数の全範囲を用いて,-1/c,-c,c,1/c の形の点を用いた点選択手法を提案する。
c の異なる値に対する誤差は、実値数の範囲にわたって粗い曲線を形成し、c の値のローカライズに役立ち、誤差を減少させる。
小型コンボリューションの規模について検討し, 2%から約59%の誤差を1Dおよび2Dの畳み込みに対して減少させる。
- 参考スコア（独自算出の注目度）: 0.8043754868448141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural networks (CNNs) have dramatically improved the accuracy
of tasks such as object recognition, image segmentation and interactive speech
systems. CNNs require large amounts of computing resources because
ofcomputationally intensive convolution layers. Fast convolution algorithms
such as Winograd convolution can greatly reduce the computational cost of these
layers at a cost of poor numeric properties, such that greater savings in
computation exponentially increase floating point errors.
A defining feature of each Winograd convolution algorithm is a set of
real-value points where polynomials are sampled. The choice of points impacts
the numeric accuracy of the algorithm, but the optimal set of points for small
convolutions remains unknown. Existing work considers only small integers and
simple fractions as candidate points. In this work, we propose a novel approach
to point selection using points of the form {-1/c , -c, c, 1/c } using the full
range of real-valued numbers for c. We show that groups of this form cause
cancellations in the Winograd transform matrices that reduce numeric error. We
find empirically that the error for different values of c forms a rough curve
across the range of real-value numbers helping to localize the values of c that
reduce error and that lower errors can be achieved with non-obvious real-valued
evaluation points instead of integers or simple fractions. We study a range of
sizes for small convolutions and achieve reduction in error ranging from 2% to
around 59% for both 1D and 2D convolution. Furthermore, we identify patterns in
cases when we select a subset of our proposed points which will always lead to
a lower error. Finally we implement a complete Winograd convolution layer and
use it to run deep convolution neural networks on real datasets and show that
our proposed points reduce error, ranging from 22% to 63%.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、オブジェクト認識、画像分割、対話型音声システムなどのタスクの精度を劇的に改善した。
CNNは計算集約的な畳み込み層のため、大量の計算資源を必要とする。
ウィノグラード畳み込みのような高速な畳み込みアルゴリズムは、これらの層の計算コストを大幅に削減し、計算の節約により浮動小数点誤差が指数関数的に増大する。
各ウィノグラード畳み込みアルゴリズムの定義的特徴は多項式をサンプリングする実値点の集合である。
点の選択はアルゴリズムの数値的精度に影響を与えるが、小さな畳み込みに最適な点集合はいまだに不明である。
既存の作業では、小さな整数と単純な分数のみを候補とする。
本研究では, c に対する実数値数の全範囲を用いた {-1/c , -c, c, 1/c } 形式の点を用いた点選択法を提案する。
この形式の群は、数値誤差を低減するウィノグラード変換行列のキャンセルを引き起こすことを示す。
実験により、c の値が異なる値の誤差は実値数の範囲にわたって粗い曲線を形成し、誤差を減少させる c の値のローカライズに役立ち、低い誤差は整数や単純な分数ではなく、目立たない実値評価ポイントで達成できることがわかった。
小型コンボリューションの規模について検討し, 2%から約59%の誤差を1Dおよび2Dの畳み込みで減少させる。
さらに、提案した点のサブセットを選択する場合、常に低い誤差につながるパターンを識別する。
最後に、完全なWinograd畳み込み層を実装し、実際のデータセット上でディープ畳み込みニューラルネットワークを実行するためにそれを使用し、提案したポイントがエラーを22%から63%に減らすことを示す。
関連論文リスト
- Deep Loss Convexification for Learning Iterative Models [11.36644967267829]
点雲登録のための反復的最近点(ICP)のような反復的手法は、しばしば悪い局所最適性に悩まされる。
我々は,各地真実の周囲に凸景観を形成する学習を提案する。
論文 参考訳（メタデータ） (2024-11-16T01:13:04Z) - Quality Scalable Quantization Methodology for Deep Learning on Edge [0.20718016474717196]
ディープラーニングアーキテクチャは重い計算を使い、計算エネルギーの大部分は畳み込みニューラルネットワークの畳み込み演算によって取り込まれる。
提案する研究は、ユビキタスコンピューティングデバイス上でエッジコンピューティングで機械学習技術を使用する場合、CNNのエネルギー消費とサイズを削減することである。
LeNetとConvNetsで実施された実験では、ゼロの6%まで増加し、メモリ節約量は82.4919%まで増加し、最先端の精度を維持した。
論文 参考訳（メタデータ） (2024-07-15T22:00:29Z) - On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。
本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T02:14:42Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳（メタデータ） (2022-07-08T18:17:06Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳（メタデータ） (2022-06-17T04:07:45Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳（メタデータ） (2021-06-30T03:54:35Z) - Achieving Small Test Error in Mildly Overparameterized Neural Networks [30.664282759625948]
時間内にこれらの点の1つを見つけるアルゴリズムを示す。
さらに、我々は、完全に接続されたニューラルネットワークのために、データ分布に追加の仮定で、時間アルゴリズムがあることを証明します。
論文 参考訳（メタデータ） (2021-04-24T06:47:20Z) - Hybrid Trilinear and Bilinear Programming for Aligning Partially
Overlapping Point Sets [85.71360365315128]
多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。
まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。
次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-01-19T04:24:23Z) - Quantaized Winograd/Toom-Cook Convolution for DNNs: Beyond Canonical
Polynomials Base [0.0]
ウィノグラード畳み込みアルゴリズムは、時間消費を大幅に削減する一般的な方法である。
量子化Winograd-Awareトレーニングモデルに対するベースチェンジ手法の適用について述べる。
論文 参考訳（メタデータ） (2020-04-23T11:15:27Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳（メタデータ） (2020-01-27T08:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。