論文の概要: Syno: Structured Synthesis for Neural Operators

• arxiv url: http://arxiv.org/abs/2410.23745v1
• Date: Thu, 31 Oct 2024 09:00:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:58:12.545869
• Title: Syno: Structured Synthesis for Neural Operators
• Title（参考訳）: Syno: ニューラルネットワークのための構造化合成
• Authors: Yongqi Zhuo, Zhengyuan Su, Chenggang Zhao, Mingyu Gao,
• Abstract要約: 我々は,実用的なニューラル演算子合成を実現するために,エンドツーエンドのフレームワークであるSynoを開発した。 我々は、NAS最適化モデルでさえ、Synoが平均2.06タイムのスピードアップと1%以下の精度損失でより良い演算子を発見することを実証した。
• 参考スコア（独自算出の注目度）: 1.5826646053411249
• License:
• Abstract: The desires for better prediction accuracy and higher execution performance in neural networks never end. Neural architecture search (NAS) and tensor compilers are two popular techniques to optimize these two goals, but they are both limited to composing or optimizing existing manually designed operators rather than coming up with completely new designs. In this work, we explore the less studied direction of neural operator synthesis, which aims to automatically and efficiently discover novel neural operators with better accuracy and/or speed. We develop an end-to-end framework Syno, to realize practical neural operator synthesis. Syno makes use of a novel set of fine-grained primitives defined on tensor dimensions, which ensure various desired properties to ease model training, and also enable expression canonicalization techniques to avoid redundant candidates during search. Syno further adopts a novel guided synthesis flow to obtain valid operators matched with the specified input/output dimension sizes, and leverages efficient stochastic tree search algorithms to quickly explore the design space. We demonstrate that Syno discovers better operators with an average of $2.06\times$ speedup and less than $1\%$ accuracy loss, even on NAS-optimized models.
• Abstract（参考訳）: ニューラルネットワークの予測精度の向上と実行パフォーマンス向上への欲求は、決して終わらない。 ニューラルアーキテクチャサーチ(NAS)とテンソルコンパイラ(テンソルコンパイラ)は、これらの2つの目標を最適化する2つの一般的な手法であるが、どちらも全く新しい設計を思いつくのではなく、既存の手動で設計した演算子を構成または最適化することに限定されている。 本研究では,新しいニューラル演算子を精度と速度で自動かつ効率的に発見することを目的とした,研究の少ないニューラル演算子合成の方向性について検討する。 我々は,実用的なニューラル演算子合成を実現するために,エンドツーエンドのフレームワークであるSynoを開発した。 Synoは、テンソル次元で定義された新しいきめ細かいプリミティブのセットを利用して、様々な望ましいプロパティをモデルトレーニングの容易化と、検索中に冗長な候補を避けるための表現正準化技術を実現する。 Synoはさらに、指定された入力/出力次元のサイズにマッチする有効な演算子を得るために、新しいガイド付き合成フローを採用し、効率的な確率木探索アルゴリズムを活用して、設計空間をすばやく探索する。 我々は、NAS最適化モデルでさえ、Synoが平均$2.06\times$スピードアップと$1\%以下の精度でより良い演算子を発見することを実証した。

関連論文リスト

• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Convolutional Neural Operators for robust and accurate learning of PDEs [11.562748612983956]
  本稿では、入力や出力として関数を処理する畳み込みニューラルネットワークの新しい適応法を提案する。 結果として生じるアーキテクチャは、畳み込みニューラル演算子(CNO)と呼ばれる。 普遍性定理を証明し、CNOが PDE で生じる作用素を所望の精度で近似できることを示す。
  論文  参考訳（メタデータ） (2023-02-02T15:54:45Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Precision Machine Learning [5.15188009671301]
  様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。 ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。 我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
  論文  参考訳（メタデータ） (2022-10-24T17:58:30Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to Infer Hardware Performances [58.720142291102135]
  VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。 これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-05-09T22:48:39Z)
• A Graph Deep Learning Framework for High-Level Synthesis Design Space Exploration [11.154086943903696]
  High-Level Synthesisは、アプリケーション固有の高速プロトタイピングのためのソリューションである。 本稿では,加速性能とハードウェアコストを共同で予測するグラフニューラルネットワークHLSを提案する。 提案手法は,一般的なシミュレータと同等の精度で予測できることを示す。
  論文  参考訳（メタデータ） (2021-11-29T18:17:45Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• OpEvo: An Evolutionary Method for Tensor Operator Optimization [6.273446055072434]
  テンソル作用素の探索空間を効率的に探索する新しい進化的手法OpEvoを提案する。 総合的な実験結果から,OpEvoは最も分散度が低く,試行回数や壁面時間も最小限に設定できることがわかった。
  論文  参考訳（メタデータ） (2020-06-10T05:33:33Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)
• Steepest Descent Neural Architecture Optimization: Escaping Local Optimum with Signed Neural Splitting [60.97465664419395]
  我々は、局所最適性問題に対処する分割降下フレームワークの顕著で驚くべき拡張を開発する。 分割時の正と負の両方の重みを単純に許すことで、S2Dにおける分裂安定性の出現を排除できる。 我々は,CIFAR-100, ImageNet, ModelNet40 といった,S2D などの先進的なニューラルネットワークの精度とエネルギー効率の学習方法よりも優れている,様々な挑戦的なベンチマーク上で,本手法を検証する。
  論文  参考訳（メタデータ） (2020-03-23T17:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。