論文の概要: SOL: Effortless Device Support for AI Frameworks without Source Code Changes

• arxiv url: http://arxiv.org/abs/2003.10688v1
• Date: Tue, 24 Mar 2020 07:03:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 09:45:54.930861
• Title: SOL: Effortless Device Support for AI Frameworks without Source Code Changes
• Title（参考訳）: SOL: ソースコードの変更なしにAIフレームワークを不運にサポート
• Authors: Nicolas Weber and Felipe Huici
• Abstract要約: 我々は、異種ハードウェアを透過的にサポートできるハードウェア抽象化層を提供するAIアクセラレーションであるSOLを紹介した。 概念実証として,CPU,GPU,ベクトルプロセッサの3つのバックエンドでPyTorch用のSOLを実装した。
• 参考スコア（独自算出の注目度）: 1.030051577369649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern high performance computing clusters heavily rely on accelerators to overcome the limited compute power of CPUs. These supercomputers run various applications from different domains such as simulations, numerical applications or artificial intelligence (AI). As a result, vendors need to be able to efficiently run a wide variety of workloads on their hardware. In the AI domain this is in particular exacerbated by the existence of a number of popular frameworks (e.g, PyTorch, TensorFlow, etc.) that have no common code base, and can vary in functionality. The code of these frameworks evolves quickly, making it expensive to keep up with all changes and potentially forcing developers to go through constant rounds of upstreaming. In this paper we explore how to provide hardware support in AI frameworks without changing the framework's source code in order to minimize maintenance overhead. We introduce SOL, an AI acceleration middleware that provides a hardware abstraction layer that allows us to transparently support heterogeneous hardware. As a proof of concept, we implemented SOL for PyTorch with three backends: CPUs, GPUs and vector processors.
• Abstract（参考訳）: 現代の高性能コンピューティングクラスタはCPUの限られた計算能力を克服するためにアクセラレータに大きく依存している。 これらのスーパーコンピュータは、シミュレーション、数値応用、人工知能(ai)など、さまざまなドメインの様々なアプリケーションを実行する。 その結果、ベンダーはハードウェア上でさまざまなワークロードを効率的に実行できなければなりません。 aiドメインでは、これは特に、共通のコードベースを持たず、機能的にも異なる可能性のある、多くの人気フレームワーク(pytorch、tensorflowなど)の存在によって悪化している。 これらのフレームワークのコードは急速に進化し、すべての変更に追いつくのにコストがかかり、開発者は継続的にアップストリームを行なわざるを得なくなる可能性がある。 本稿では,メンテナンスのオーバーヘッドを最小限に抑えるため,フレームワークのソースコードを変更することなく,AIフレームワークにハードウェアサポートを提供する方法について検討する。 我々は、異種ハードウェアを透過的にサポートできるハードウェア抽象化層を提供するAIアクセラレーションミドルウェアであるSOLを紹介した。 概念実証として,CPU,GPU,ベクトルプロセッサの3つのバックエンドでPyTorch用のSOLを実装した。

関連論文リスト

• RepoGraph: Enhancing AI Software Engineering with Repository-level Code Graph [63.87660059104077]
  RepoGraphは、現代のAIソフトウェアエンジニアリングソリューションのためのリポジトリレベルの構造を管理するプラグインモジュールである。 RepoGraphはすべてのシステムのパフォーマンスを大幅に向上させ、オープンソースフレームワークの間で新たな最先端技術を生み出している。
  論文  参考訳（メタデータ） (2024-10-03T05:45:26Z)
• OpenHands: An Open Platform for AI Software Developers as Generalist Agents [109.8507367518992]
  私たちは、人間の開発者と同じような方法で世界と対話するAIエージェントを開発するためのプラットフォームであるOpenHandsを紹介します。 プラットフォームが新しいエージェントの実装を可能にし、コード実行のためのサンドボックス環境との安全なインタラクション、評価ベンチマークの導入について説明する。
  論文  参考訳（メタデータ） (2024-07-23T17:50:43Z)
• Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
  トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。 モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。 このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
  論文  参考訳（メタデータ） (2024-07-12T09:24:34Z)
• Bridging the Gap Between Domain-specific Frameworks and Multiple Hardware Devices [2.9694650164958802]
  本稿では,ドメイン固有のフレームワークと複数のハードウェアデバイスとのギャップを効果的に埋める手法を提案する。 このフレームワークは、ディープラーニング、古典的な機械学習、X86、ARM、RISC-V、IoTデバイス、GPUにわたるデータ分析をサポートする。 これは、Scikit-learn、Hummingbird、Spark、およびパンダといった既存のソリューションよりも優れており、驚くべきスピードアップを実現している。
  論文  参考訳（メタデータ） (2024-05-21T04:24:47Z)
• Using the Abstract Computer Architecture Description Language to Model AI Hardware Accelerators [77.89070422157178]
  AI統合製品の製造者は、製品のパフォーマンス要件に適合するアクセラレータを選択するという、重大な課題に直面します。 抽象コンピュータアーキテクチャ記述言語(ACADL)は、コンピュータアーキテクチャブロック図の簡潔な形式化である。 本稿では,AIハードウェアアクセラレーションのモデル化にACADLを用いること,DNNのマッピングにACADL記述を使用し,タイミングシミュレーションのセマンティクスを解説し,性能評価結果の収集を行う。
  論文  参考訳（メタデータ） (2024-01-30T19:27:16Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• SOL: Reducing the Maintenance Overhead for Integrating Hardware Support into AI Frameworks [0.7614628596146599]
  Theano、Caffe、Chainer、CNTK、MxNet、PyTorch、DL4JといったAIフレームワークは、ハイレベルなスクリプティングAPIを提供する。 主流でないCPUやGPU、アクセラレータベンダは、これらのフレームワークでハードウェアをサポートするために、高い努力を払わなければならない。 NEC Laboratories Europeは、すでに数年前にSOL AI Optimizationプロジェクトの開発を開始した。
  論文  参考訳（メタデータ） (2022-05-19T08:40:46Z)
• Extending Python for Quantum-Classical Computing via Quantum Just-in-Time Compilation [78.8942067357231]
  Pythonは、その柔軟性、ユーザビリティ、可読性、開発者の生産性を重視することで有名な人気のあるプログラミング言語です。 量子ジャスト・イン・タイム・コンパイルのための堅牢なC++インフラストラクチャを通じて、異種量子古典計算を可能にするPythonの言語拡張を提案する。
  論文  参考訳（メタデータ） (2021-05-10T21:11:21Z)
• Accelerating SLIDE Deep Learning on Modern CPUs: Vectorization, Quantizations, Memory Optimizations, and More [26.748770505062378]
  SLIDEはスパースハッシュテーブルベースのバックプロパゲーションのC++実装である。 SLIDE の計算によって AVX (Advanced Vector Extensions-512) によるベクトル化が可能となることを示す。 我々の実験は、大規模(数百万のパラメータ)のレコメンデーションとNLPモデルに焦点を当てている。
  論文  参考訳（メタデータ） (2021-03-06T02:13:43Z)
• How deep the machine learning can be [0.0]
  機械学習は、主に従来のコンピューティング(プロセッサ)に基づいている。 本稿では,AIソリューションの計算性能のスケールアップについて,いくつかの問題点を概観する。
  論文  参考訳（メタデータ） (2020-05-02T16:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。