論文の概要: Canvas: End-to-End Kernel Architecture Search in Neural Networks

• arxiv url: http://arxiv.org/abs/2304.07741v1
• Date: Sun, 16 Apr 2023 10:05:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 17:39:31.848165
• Title: Canvas: End-to-End Kernel Architecture Search in Neural Networks
• Title（参考訳）: Canvas:ニューラルネットワークにおけるエンドツーエンドカーネルアーキテクチャ検索
• Authors: Chenggang Zhao, Genghan Zhang, Mingyu Gao
• Abstract要約: ニューラルネットワーク(NN)の畳み込み代替として高品質なカーネルを見つけるために、エンドツーエンドのフレームワークを構築しています。 共通のNNで生成された新しいカーネルに畳み込みを置き換えることで、Canvasの平均1.5倍の高速化を実現し、精度の低下と探索効率を許容できる。
• 参考スコア（独自算出の注目度）: 1.1612831901050744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The demands for higher performance and accuracy in neural networks (NNs) never end. Existing tensor compilation and Neural Architecture Search (NAS) techniques orthogonally optimize the two goals but actually share many similarities in their concrete strategies. We exploit such opportunities by combining the two into one and make a case for Kernel Architecture Search (KAS). KAS reviews NAS from a system perspective and zooms into a more fine-grained level to generate neural kernels with both high performance and good accuracy. To demonstrate the potential of KAS, we build an end-to-end framework, Canvas, to find high-quality kernels as convolution replacements. Canvas samples from a rich set of fine-grained primitives to stochastically and iteratively construct new kernels and evaluate them according to user-specified constraints. Canvas supports freely adjustable tensor dimension sizes inside the kernel and uses two levels of solvers to satisfy structural legality and fully utilize model budgets. The evaluation shows that by replacing standard convolutions with generated new kernels in common NNs, Canvas achieves average 1.5x speedups compared to the previous state-of-the-art with acceptable accuracy loss and search efficiency. Canvas verifies the practicability of KAS by rediscovering many manually designed kernels in the past and producing new structures that may inspire future machine learning innovations.
• Abstract（参考訳）: ニューラルネットワーク(nns)における高いパフォーマンスと精度の要求は、決して終わらない。 既存のテンソルコンパイルとニューラルアーキテクチャサーチ(NAS)技術は2つの目標を直交的に最適化するが、具体的な戦略で多くの類似点を共有している。 我々はこの2つを1つに組み合わせて、カーネルアーキテクチャ検索(KAS)を例に挙げる。 KASはシステムの観点からNASをレビューし、よりきめ細かいレベルに拡大して、高性能かつ高精度なニューラルカーネルを生成する。 KASの可能性を実証するために、私たちは、高品質なカーネルを畳み込み置換として見つけるために、エンドツーエンドのフレームワークCanvasを構築した。 Canvasはリッチなきめ細かいプリミティブからサンプルを抽出し、確率的に反復的に新しいカーネルを構築し、ユーザ指定の制約に従って評価する。 canvasはカーネル内で自由に調整可能なテンソル次元サイズをサポートし、構造的合法性を満たすために2段階のソルバを使用し、モデル予算を十分に活用する。 評価の結果,標準畳み込みを共通NNで生成した新しいカーネルに置き換えることで,従来の最先端技術と比較して平均1.5倍の高速化を実現し,精度の低下と探索効率を許容できることがわかった。 canvasは、過去に多くの手動で設計されたカーネルを再発見し、将来の機械学習イノベーションを刺激する新しい構造を作り出すことで、kasの実用性を検証する。

関連論文リスト

• Accelerating Machine Learning Primitives on Commodity Hardware [0.0]
  本稿では,Deep Neural Networks (DNN) における一般行列乗算 (GEMM) に基づく畳み込みよりも効率的な代替手段として,スライディングウィンドウ畳み込み手法について広範な研究を行う。 この結果から,Sliding Window 計算カーネルは CPU 上でも専用ハードウェアアクセラレータ上でも GEMM ベースの畳み込みよりも優れていることが示唆された。 これにより、特別なハードウェアを必要とせずに、低消費電力および低メモリデバイスにAIが広く採用される可能性がある。
  論文  参考訳（メタデータ） (2023-10-08T16:26:18Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel [1.6383321867266318]
  Implicit Composite Kernel (ICK) は、ニューラルネットワークによって暗黙的に定義されたカーネルと、既知のプロパティをモデル化するために選択された第2のカーネル関数を組み合わせたカーネルである。 合成データセットと実世界のデータセットの両方において、ICKの優れた性能と柔軟性を実証する。
  論文  参考訳（メタデータ） (2022-05-15T21:32:44Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes [34.90912459206022]
  最近の研究によると、CNNは異なるレイヤの異なるカーネルサイズから恩恵を受けているが、実際にはすべての可能な組み合わせを探索することは不可能である。 本稿では,学習可能なカーネルサイズの高い帯域幅の畳み込みカーネルを固定パラメータコストで学習可能な新しい畳み込み演算FlexConvを提案する。
  論文  参考訳（メタデータ） (2021-10-15T12:35:49Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Neural Kernels Without Tangents [34.527798084824575]
  特徴の袋から「合成」カーネルを作成するための代数学について述べる。 これらの操作は, ニューラルタンジェントカーネル (NTK) の構成要素の多くに対応していることを示す。
  論文  参考訳（メタデータ） (2020-03-04T18:25:41Z)
• PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives [55.79741270235602]
  深層学習カーネル開発のためのハイブリッドソリューションを開発する。 我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
  論文  参考訳（メタデータ） (2020-02-06T08:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。