Fugu-MT 論文翻訳(概要): Leveraging the HW/SW Optimizations and Ecosystems that Drive the AI Revolution

論文の概要: Leveraging the HW/SW Optimizations and Ecosystems that Drive the AI Revolution

arxiv url: http://arxiv.org/abs/2208.02808v1
Date: Thu, 4 Aug 2022 17:58:01 GMT
ステータス: 処理完了
システム内更新日: 2022-08-05 12:21:51.171119
Title: Leveraging the HW/SW Optimizations and Ecosystems that Drive the AI Revolution
Title（参考訳）: AI革命を駆動するHW/SW最適化と生態系の活用
Authors: Humberto Carvalho, Pavel Zaykov, Asim Ukaye
Abstract要約: 論文では、機械学習処理パイプライン全体にわたる最適化のセットを取り上げている。我々はGPU最適化に重点を置いているが、提案されたテクニックは他のAI推論プラットフォームと併用できると考えている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents a state-of-the-art overview on how to architect, design, and optimize Deep Neural Networks (DNNs) such that performance is improved and accuracy is preserved. The paper covers a set of optimizations that span the entire Machine Learning processing pipeline. We introduce two types of optimizations. The first alters the DNN model and requires NN re-training, while the second does not. We focus on GPU optimizations, but we believe the presented techniques can be used with other AI inference platforms. To demonstrate the DNN model optimizations, we improve one of the most advanced deep network architectures for optical flow, RAFT arXiv:2003.12039, on a popular edge AI inference platform (Nvidia Jetson AGX Xavier).
Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(dnn)の設計,設計,最適化について概観し,性能が向上し,精度が保たれるように設計,設計,最適化する方法について述べる。論文では、機械学習処理パイプライン全体にわたる最適化のセットを取り上げている。我々は2種類の最適化を導入する。 1つはDNNモデルを変更し、もう1つはNNの再トレーニングを必要とする。我々はGPU最適化に重点を置いているが、提案されたテクニックは他のAI推論プラットフォームと併用できると考えている。 DNNモデルの最適化を実証するため、一般的なエッジAI推論プラットフォーム(Nvidia Jetson AGX Xavier)上で、光学フローのための最も高度なディープネットワークアーキテクチャであるRAFT arXiv:2003.12039を改善した。

関連論文リスト

AdaFisher: Adaptive Second Order Optimization via Fisher Information [22.851200800265914]
本稿では,適応型プレコンディショニング勾配のためのフィッシャー情報行列に対して,ブロック対角近似を利用する適応型2次のAdaFisherを提案する。 AdaFisher は精度と収束速度の両方において SOTA よりも優れていることを示す。
論文参考訳（メタデータ） (2024-05-26T01:25:02Z)
Receptive Field Refinement for Convolutional Neural Networks Reliably Improves Predictive Performance [1.52292571922932]
本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
論文参考訳（メタデータ） (2022-11-26T05:27:44Z)
VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文参考訳（メタデータ） (2022-11-17T18:39:07Z)
Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文参考訳（メタデータ） (2022-10-12T06:49:16Z)
Learning to Optimize Quasi-Newton Methods [22.504971951262004]
本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
論文参考訳（メタデータ） (2022-10-11T03:47:14Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
Robust Reinforcement Learning on Graphs for Logistics optimization [0.0]
我々は、グラフニューラルネットワークと強化学習から、フィールドと選択したSOTAアルゴリズムの両方の最新の結果を分析した。我々のチームは、GAT、Pro-CNN、PTDNetの3つのアルゴリズムを比較した。 PTDNetとGNNを併用したAMODシステム最適化問題において,SOTAの結果を得た。
論文参考訳（メタデータ） (2022-05-25T16:16:28Z)
Comparison Analysis of Traditional Machine Learning and Deep Learning Techniques for Data and Image Classification [62.997667081978825]
本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
論文参考訳（メタデータ） (2022-04-11T11:34:43Z)
Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。この2つの設定の間には自然なシナジーがあることが示されています。この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文参考訳（メタデータ） (2021-11-25T19:59:33Z)
Convolution Neural Network Hyperparameter Optimization Using Simplified Swarm Optimization [2.322689362836168]
畳み込みニューラルネットワーク(CNN)はコンピュータビジョンで広く使われている。パフォーマンスが向上したネットワークアーキテクチャを見つけるのは容易ではない。
論文参考訳（メタデータ） (2021-03-06T00:23:27Z)
Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。