論文の概要: Compiling ONNX Neural Network Models Using MLIR
- arxiv url: http://arxiv.org/abs/2008.08272v2
- Date: Thu, 1 Oct 2020 01:15:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 12:35:12.859111
- Title: Compiling ONNX Neural Network Models Using MLIR
- Title（参考訳）: MLIRを用いたONNXニューラルネットワークモデルのコンパイル
- Authors: Tian Jin, Gheorghe-Teodor Bercea, Tung D. Le, Tong Chen, Gong Su,
Haruki Imai, Yasushi Negishi, Anh Leu, Kevin O'Brien, Kiyokuni Kawachiya, and
Alexandre E. Eichenberger
- Abstract要約: 本稿では,深層ニューラルネットワークモデルの推論のためのコードを生成するonnx-mlirコンパイラについて予備報告を行う。
Onnx-mlirは、最近LLVMプロジェクトに統合されたMulti-Level Intermediate Representation (MLIR)インフラストラクチャに依存している。
- 参考スコア（独自算出の注目度）: 51.903932262028235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural network models are becoming increasingly popular and have been
used in various tasks such as computer vision, speech recognition, and natural
language processing. Machine learning models are commonly trained in a
resource-rich environment and then deployed in a distinct environment such as
high availability machines or edge devices. To assist the portability of
models, the open-source community has proposed the Open Neural Network Exchange
(ONNX) standard. In this paper, we present a high-level, preliminary report on
our onnx-mlir compiler, which generates code for the inference of deep neural
network models described in the ONNX format. Onnx-mlir is an open-source
compiler implemented using the Multi-Level Intermediate Representation (MLIR)
infrastructure recently integrated in the LLVM project. Onnx-mlir relies on the
MLIR concept of dialects to implement its functionality. We propose here two
new dialects: (1) an ONNX specific dialect that encodes the ONNX standard
semantics, and (2) a loop-based dialect to provide for a common lowering point
for all ONNX dialect operations. Each intermediate representation facilitates
its own characteristic set of graph-level and loop-based optimizations
respectively. We illustrate our approach by following several models through
the proposed representations and we include some early optimization work and
performance results.
- Abstract（参考訳）: ディープニューラルネットワークモデルはますます普及し、コンピュータビジョン、音声認識、自然言語処理といった様々なタスクで使われている。
マシンラーニングモデルは通常、リソース豊富な環境でトレーニングされ、高可用性マシンやエッジデバイスなど、異なる環境にデプロイされる。
モデルの移植性を支援するため、オープンソースコミュニティはOpen Neural Network Exchange (ONNX)標準を提案した。
本稿では,ONNX形式で記述されたディープニューラルネットワークモデルの推論のためのコードを生成するonnx-mlirコンパイラについて,高レベルの予備報告を行う。
Onnx-mlirは、LLVMプロジェクトに最近統合されたMulti-Level Intermediate Representation (MLIR)インフラストラクチャを使って実装されたオープンソースのコンパイラである。
Onnx-mlirはその機能を実装するためにMLIRの方言の概念に依存している。
本稿では,(1)onnx標準セマンティクスを符号化するonnx固有方言,(2)すべてのonnx方言操作に対して共通の下位点を提供するループ型方言の2つの新しい方言を提案する。
各中間表現は、それぞれグラフレベルとループベースの最適化の独自の特性セットを促進する。
提案した表現を通していくつかのモデルに従うことで、我々のアプローチを説明し、初期の最適化作業と性能結果を含む。
関連論文リスト
- CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。
CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
論文 参考訳（メタデータ） (2024-04-03T02:21:46Z) - Towards a World-English Language Model for On-Device Virtual Assistants [5.743958545444472]
我々は、地域英語の変種を組み合わせて、オンデバイスVAのためのWorld English's NNLMを構築します。
アダプタモジュールは,サブネットワーク全体の特化よりも,方言のモデリングに有効であることが判明した。
論文 参考訳（メタデータ） (2024-03-27T17:31:39Z) - Exploiting Multilingualism in Low-resource Neural Machine Translation
via Adversarial Learning [3.2258463207097017]
Generative Adversarial Networks (GAN) はニューラルマシン翻訳(NMT)に有望なアプローチを提供する
GANでは、バイリンガルモデルと同様に、マルチリンガルNTTはモデルトレーニング中に各文の参照翻訳を1つだけ考慮している。
本稿では,DAASI(Denoising Adversarial Auto-Encoder-based Sentence Interpolation)アプローチによる文計算を提案する。
論文 参考訳（メタデータ） (2023-03-31T12:34:14Z) - QONNX: Representing Arbitrary-Precision Quantized Neural Networks [49.10245225120615]
我々は、任意の精度の量子化ニューラルネットワークを表現するために、Open Neural Network Exchange (ONNX) 中間表現フォーマットを拡張した。
まず、整数クリッピングを利用して、既存のONNXベースの量子化フォーマットで低精度量子化をサポートする。
次に、量子化ONNX(QONNX)と呼ばれる新しい高レベルのONNXフォーマットを導入し、3つの新しい演算子(Quant、BipolarQuant、Trunc)を導入する。
論文 参考訳（メタデータ） (2022-06-15T13:18:00Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:34:22Z) - NeuralLog: Natural Language Inference with Joint Neural and Logical
Reasoning [6.795509403707242]
本稿では,単調性に基づく論理推論エンジンと,フレーズアライメントのためのニューラルネットワーク言語モデルの両方を利用するNeuralLogという推論フレームワークを提案する。
我々のフレームワークは,NLIタスクを古典的な探索問題としてモデル化し,ビーム探索アルゴリズムを用いて最適な推論経路を探索する。
実験により,我々のジョイントロジックとニューラル推論システムがNLIタスクの精度を改善し,SICKデータセットとMEDデータセットの最先端の精度を実現することが示された。
論文 参考訳（メタデータ） (2021-05-29T01:02:40Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - Speaker Recognition using SincNet and X-Vector Fusion [8.637110868126546]
我々は、最近導入された2つのディープニューラルネットワーク(DNN)、すなわちSincNetとX-Celeb1を融合して話者認識を行う革新的なアプローチを提案する。
論文 参考訳（メタデータ） (2020-04-05T14:44:14Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。