論文の概要: A Data-Centric Optimization Framework for Machine Learning

• arxiv url: http://arxiv.org/abs/2110.10802v1
• Date: Wed, 20 Oct 2021 22:07:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 18:41:15.069309
• Title: A Data-Centric Optimization Framework for Machine Learning
• Title（参考訳）: 機械学習のためのデータ中心最適化フレームワーク
• Authors: Oliver Rausch, Tal Ben-Nun, Nikoli Dryden, Andrei Ivanov, Shigang Li, Torsten Hoefler
• Abstract要約: 私たちは、任意のディープニューラルネットワークをトレーニングするためのフレキシブルでユーザ指向のパイプラインを定義することで、ディープラーニング研究者に力を与えます。 パイプラインは、PyTorchまたはONNXの標準ネットワークから始まり、プログレッシブローディングを通じて変換される。 我々は10の異なるネットワーク上での競争性能やスピードアップを実演し、インタラクティブな最適化によってEfficientNetの新しい機会を発見する。
• 参考スコア（独自算出の注目度）: 9.57755812904772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rapid progress in deep learning is leading to a diverse set of quickly changing models, with a dramatically growing demand for compute. However, as frameworks specialize optimization to patterns in popular networks, they implicitly constrain novel and diverse models that drive progress in research. We empower deep learning researchers by defining a flexible and user-customizable pipeline for optimizing training of arbitrary deep neural networks, based on data movement minimization. The pipeline begins with standard networks in PyTorch or ONNX and transforms computation through progressive lowering. We define four levels of general-purpose transformations, from local intra-operator optimizations to global data movement reduction. These operate on a data-centric graph intermediate representation that expresses computation and data movement at all levels of abstraction, including expanding basic operators such as convolutions to their underlying computations. Central to the design is the interactive and introspectable nature of the pipeline. Every part is extensible through a Python API, and can be tuned interactively using a GUI. We demonstrate competitive performance or speedups on ten different networks, with interactive optimizations discovering new opportunities in EfficientNet.
• Abstract（参考訳）: ディープラーニングの急速な進歩は、急速に変化するモデルの多様なセットにつながり、計算に対する需要が劇的に増加しています。 しかし、人気ネットワークのパターンに対する最適化を専門とするフレームワークでは、研究の進展を促す新しいモデルや多様なモデルを暗黙的に制約している。 データムーブメントの最小化に基づいて、任意のディープニューラルネットワークのトレーニングを最適化するフレキシブルでユーザカスタマイズ可能なパイプラインを定義することで、ディープラーニング研究者に力を与える。 パイプラインはPyTorchやONNXの標準的なネットワークから始まり、プログレッシブローディングを通じて計算を変換する。 演算子内最適化からグローバルデータ移動の削減に至るまで,汎用変換の4つのレベルを定義した。 これらは、畳み込みなどの基本的な演算子を基礎となる計算に拡張するなど、あらゆる抽象レベルで計算とデータ移動を表現する、データ中心のグラフ中間表現で動作する。 設計の中心は、パイプラインのインタラクティブでイントロスペクティブな性質である。 それぞれの部分はPython APIを通じて拡張可能であり、GUIを使って対話的にチューニングすることができる。 我々は10の異なるネットワーク上での競争性能やスピードアップを実演し、インタラクティブな最適化によってEfficientNetの新しい機会を発見する。

関連論文リスト

• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• Geometric Deep Learning for Autonomous Driving: Unlocking the Power of Graph Neural Networks With CommonRoad-Geometric [6.638385593789309]
  不均一グラフは、複雑な相互作用効果をモデル化する能力を考えると、トラフィックに対して強力なデータ表現を提供する。 グラフニューラルネットワーク(GNN)が付随するディープラーニングフレームワークとして登場することにより、グラフ構造をさまざまな機械学習アプリケーションに効率的に活用することができる。 提案するPythonフレームワークは,トラフィックシナリオから標準化されたグラフデータセットを抽出する,使いやすく,完全にカスタマイズ可能なデータ処理パイプラインを提供する。
  論文  参考訳（メタデータ） (2023-02-02T17:45:02Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• EvoPruneDeepTL: An Evolutionary Pruning Model for Transfer Learning based Deep Neural Networks [15.29595828816055]
  本稿では,トランスファーラーニングに基づくディープニューラルネットワークのための進化的プルーニングモデルを提案する。 EvoPruneDeepTLは、最後の完全に接続されたレイヤを遺伝的アルゴリズムによって最適化されたスパースレイヤで置き換える。 その結果,ネットワーク全体の計算効率に対するEvoPruneDeepTLと特徴選択の寄与が示された。
  論文  参考訳（メタデータ） (2022-02-08T13:07:55Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Woodpecker-DL: Accelerating Deep Neural Networks via Hardware-Aware Multifaceted Optimizations [15.659251804042748]
  Woodpecker-DL (WPK) はハードウェア対応のディープラーニングフレームワークである。 WPKは、グラフ最適化、自動検索、ドメイン固有言語(DSL)、システムレベルの探索を使って推論を高速化する。 最大P100 GPUでは、cuDNNが5.40、TVMが1.63、エンドツーエンドモデル推論がTeslaRTより1.18倍高速であることを示す。
  論文  参考訳（メタデータ） (2020-08-11T07:50:34Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。