論文の概要: Chameleon: Adaptive Code Optimization for Expedited Deep Neural Network Compilation

• arxiv url: http://arxiv.org/abs/2001.08743v1
• Date: Thu, 23 Jan 2020 20:42:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 12:38:34.013644
• Title: Chameleon: Adaptive Code Optimization for Expedited Deep Neural Network Compilation
• Title（参考訳）: Chameleon: 高速なディープニューラルネットワークコンパイルのための適応コード最適化
• Authors: Byung Hoon Ahn, Prannoy Pilligundla, Amir Yazdanbakhsh, Hadi Esmaeilzadeh
• Abstract要約: コード最適化のために、これまで見えなかった設計空間に迅速に適応できるソリューションを考案しました。 我々はChameleonがAutoMTVよりも4.45倍の速度で最適化できることを示し、同時に現代のディープネットワークの推論時間を5.6%改善した。
• 参考スコア（独自算出の注目度）: 8.266097781813656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving faster execution with shorter compilation time can foster further diversity and innovation in neural networks. However, the current paradigm of executing neural networks either relies on hand-optimized libraries, traditional compilation heuristics, or very recently genetic algorithms and other stochastic methods. These methods suffer from frequent costly hardware measurements rendering them not only too time consuming but also suboptimal. As such, we devise a solution that can learn to quickly adapt to a previously unseen design space for code optimization, both accelerating the search and improving the output performance. This solution dubbed Chameleon leverages reinforcement learning whose solution takes fewer steps to converge, and develops an adaptive sampling algorithm that not only focuses on the costly samples (real hardware measurements) on representative points but also uses a domain-knowledge inspired logic to improve the samples itself. Experimentation with real hardware shows that Chameleon provides 4.45x speed up in optimization time over AutoTVM, while also improving inference time of the modern deep networks by 5.6%.
• Abstract（参考訳）: 短いコンパイル時間で高速な実行を実現することで、ニューラルネットワークのさらなる多様性とイノベーションが促進される。 しかしながら、現在のニューラルネットワークの実行パラダイムは、手動最適化ライブラリ、従来のコンパイルヒューリスティック、あるいはごく最近の遺伝的アルゴリズムやその他の確率的手法に依存している。 これらの手法は、コストのかかるハードウェア測定に悩まされ、時間がかかりすぎるだけでなく、最適ではない。 そこで我々は,探索の高速化と出力性能の向上という両面から,これまで見つからなかった設計空間に迅速に適応できるソリューションを考案した。 chameleonと呼ばれるこのソリューションは、収束に要するステップを少なくする強化学習を活用し、代表点に対するコストのかかるサンプル(実際のハードウェア測定)だけでなく、ドメイン知識にインスパイアされたロジックを使ってサンプル自体を改善する、適応的なサンプリングアルゴリズムを開発する。 実際のハードウェアでの実験では、ChameleonはAutoTVMよりも4.45倍の速度で最適化できる一方で、現代のディープネットワークの推論時間を5.6%改善している。

関連論文リスト

• Sparks of Quantum Advantage and Rapid Retraining in Machine Learning [0.0]
  本研究では、最小パラメータで複雑な関数を表現するために、強力なニューラルネットワークアーキテクチャを最適化する。 高速再トレーニング機能を導入し、古いサンプルを再処理することなく、ネットワークを新しいデータで再トレーニングできるようにする。 量子ハードウェアとアルゴリズム最適化のさらなる進歩により、量子最適化機械学習モデルが幅広い応用をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-22T19:55:44Z)
• Learning Performance-Improving Code Edits [107.21538852090208]
  本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。 まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。 提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
  論文  参考訳（メタデータ） (2023-02-15T18:59:21Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Learning to Optimize Quasi-Newton Methods [22.504971951262004]
  本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。 他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。 この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T03:47:14Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Neural Fixed-Point Acceleration for Convex Optimization [10.06435200305151]
  本稿では,メタラーニング法と古典的加速度法を併用したニューラル固定点加速法を提案する。 コンベックスコーンプログラミングのための最先端の解法であるSCSに,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2021-07-21T17:59:34Z)
• Convolution Neural Network Hyperparameter Optimization Using Simplified Swarm Optimization [2.322689362836168]
  畳み込みニューラルネットワーク(CNN)はコンピュータビジョンで広く使われている。 パフォーマンスが向上したネットワークアーキテクチャを見つけるのは容易ではない。
  論文  参考訳（メタデータ） (2021-03-06T00:23:27Z)
• Woodpecker-DL: Accelerating Deep Neural Networks via Hardware-Aware Multifaceted Optimizations [15.659251804042748]
  Woodpecker-DL (WPK) はハードウェア対応のディープラーニングフレームワークである。 WPKは、グラフ最適化、自動検索、ドメイン固有言語(DSL)、システムレベルの探索を使って推論を高速化する。 最大P100 GPUでは、cuDNNが5.40、TVMが1.63、エンドツーエンドモデル推論がTeslaRTより1.18倍高速であることを示す。
  論文  参考訳（メタデータ） (2020-08-11T07:50:34Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。