論文の概要: UniSparse: An Intermediate Language for General Sparse Format Customization

• arxiv url: http://arxiv.org/abs/2403.05802v1
• Date: Sat, 9 Mar 2024 05:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 12:23:16.926264
• Title: UniSparse: An Intermediate Language for General Sparse Format Customization
• Title（参考訳）: unisparse: 一般的なスパースフォーマットカスタマイズのための中間言語
• Authors: Jie Liu, Zhongyuan Zhao, Zijian Ding, Benjamin Brock, Hongbo Rong, Zhiru Zhang
• Abstract要約: スパースフォーマットの表現とカスタマイズを統一した抽象化を提供する中間言語であるUniSparseを提案する。 既存の属性ベースのフレームワークとは異なり、UniSparseはスパーステンソルの論理的表現を低レベルメモリレイアウトから切り離す。 結果として、リッチなフォーマットのカスタマイズは、明確に定義されたクエリ、突然変異、レイアウトプリミティブの小さなセットで簡潔に表現できる。
• 参考スコア（独自算出の注目度）: 13.132033187592349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ongoing trend of hardware specialization has led to a growing use of custom data formats when processing sparse workloads, which are typically memory-bound. These formats facilitate optimized software/hardware implementations by utilizing sparsity pattern- or target-aware data structures and layouts to enhance memory access latency and bandwidth utilization. However, existing sparse tensor programming models and compilers offer little or no support for productively customizing the sparse formats. Additionally, because these frameworks represent formats using a limited set of per-dimension attributes, they lack the flexibility to accommodate numerous new variations of custom sparse data structures and layouts. To overcome this deficiency, we propose UniSparse, an intermediate language that provides a unified abstraction for representing and customizing sparse formats. Unlike the existing attribute-based frameworks, UniSparse decouples the logical representation of the sparse tensor (i.e., the data structure) from its low-level memory layout, enabling the customization of both. As a result, a rich set of format customizations can be succinctly expressed in a small set of well-defined query, mutation, and layout primitives. We also develop a compiler leveraging the MLIR infrastructure, which supports adaptive customization of formats, and automatic code generation of format conversion and compute operations for heterogeneous architectures. We demonstrate the efficacy of our approach through experiments running commonly-used sparse linear algebra operations with specialized formats on multiple different hardware targets, including an Intel CPU, an NVIDIA GPU, an AMD Xilinx FPGA, and a simulated processing-in-memory (PIM) device.
• Abstract（参考訳）: ハードウェアの特殊化の進行中の傾向は、通常メモリバウンドであるスパースワークロードの処理において、カスタムデータフォーマットの使用の増加につながっている。 これらのフォーマットは、sparsityパターンまたはtarget-awareデータ構造とレイアウトを利用して、メモリアクセスのレイテンシと帯域使用率を高めることで、最適化されたソフトウェア/ハードウェアの実装を促進する。 しかし、既存のスパーステンソルプログラミングモデルとコンパイラはスパースフォーマットを生産的にカスタマイズするサポートをほとんどあるいは全く提供していない。 さらに、これらのフレームワークはディメンジョン単位の属性の限られたセットを使用してフォーマットを表現しているため、多くの新しいカスタムスパースデータ構造とレイアウトに対応する柔軟性が欠けている。 この欠点を克服するために、スパースフォーマットの表現とカスタマイズのための統一的な抽象化を提供する中間言語UniSparseを提案する。 既存の属性ベースのフレームワークとは異なり、unisparseはスパーステンソル(すなわちデータ構造)の論理表現を低レベルのメモリレイアウトから分離し、両方のカスタマイズを可能にする。 結果として、リッチなフォーマットのカスタマイズは、明確に定義されたクエリ、突然変異、レイアウトプリミティブの小さなセットで簡潔に表現できる。 また、フォーマットの適応的なカスタマイズと、異種アーキテクチャのためのフォーマット変換と計算操作の自動生成をサポートするmlirインフラストラクチャを活用したコンパイラも開発した。 提案手法は,intel cpu,nvidia gpu,amd xilinx fpga,simed processing-in-memory (pim) デバイスなど,複数のハードウェアターゲットに専用フォーマットで汎用のスパース線形代数演算を実行することにより,本手法の有効性を実証する。

関連論文リスト

• Designing and Implementing a Generator Framework for a SIMD Abstraction Library [53.84310825081338]
  SIMD抽象化ライブラリを生成するための新しいエンドツーエンドフレームワークであるTSLGenを提案する。 私たちのフレームワークは既存のライブラリに匹敵するもので、同じパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-07-26T13:25:38Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Exploring FPGA designs for MX and beyond [6.843913224130847]
  我々は,Open Compute Project MX 規格で定義された演算系の最初のオープンソースFPGA実装について記述し,評価する。 私たちの設計では、MXフォーマットへの変換のためのすべての標準の具体的なフォーマットを完全にサポートしています。 我々はBrevitasライブラリと統合された新しい標準への量子化のためのオープンソースのPytorchライブラリをリリースする。
  論文  参考訳（メタデータ） (2024-07-01T17:07:33Z)
• PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
  本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。 データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。 我々は、大規模な実験を行い、パブリックなマルチモーダルレイアウト生成ベンチマーク上で、最先端(SOTA)性能を達成した。
  論文  参考訳（メタデータ） (2024-06-05T03:05:52Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Exploring Format Consistency for Instruction Tuning [79.0698403613366]
  本研究では,Unified Instruction Tuning (UIT) というフレームワークを提案する。 UITはOpenAI APIを呼び出し、PromptSource、FLAN、CrossFitといったさまざまなインストラクションチューニングデータセット間で自動フォーマット転送を行う。 提案手法では,T5-LM-xlにおける未知命令の一般化性能の向上と,自動フォーマット転送のノイズを低減するために,新しいパープレキシティに基づくデノナイジング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-28T12:00:13Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Machine Learning-Driven Adaptive OpenMP For Portable Performance on Heterogeneous Systems [1.885335997132172]
  プログラムを新しい異種プラットフォームに適応させるのは面倒で、開発者は手動で実行パラメータの広大なスペースを探索する必要がある。 本稿では,機械学習による自律的適応のためのOpenMPの拡張を提案する。 私たちのソリューションには、新しい言語構成、コンパイラ変換、ランタイムサポートのセットが含まれています。
  論文  参考訳（メタデータ） (2023-03-15T18:37:18Z)
• Efficient Multi-Organ Segmentation Using SpatialConfiguration-Net with Low GPU Memory Requirements [8.967700713755281]
  本研究では,SpatialConfiguration-Net(SCN)に基づくマルチ組織セグメンテーションモデルを用いる。 セグメンテーションモデルのアーキテクチャを改良し,メモリフットプリントの削減を図った。 最後に、我々は最小限の推論スクリプトを実装し、実行時間と必要なGPUメモリの両方を最適化した。
  論文  参考訳（メタデータ） (2021-11-26T17:47:10Z)
• Memory-based Semantic Segmentation for Off-road Unstructured Natural Environments [29.498304237783763]
  本稿では,セマンティックセグメンテーションのためのメモリモジュールを提案する。 メモリモジュールはトレーニングイメージのかなりの表現をメモリアイテムとして格納する。 我々は,ロボット非構造地上走行データセットとRELLISデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2021-08-12T10:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。