論文の概要: UniSparse: An Intermediate Language for General Sparse Format
Customization
- arxiv url: http://arxiv.org/abs/2403.05802v1
- Date: Sat, 9 Mar 2024 05:38:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:23:16.926264
- Title: UniSparse: An Intermediate Language for General Sparse Format
Customization
- Title(参考訳): unisparse: 一般的なスパースフォーマットカスタマイズのための中間言語
- Authors: Jie Liu, Zhongyuan Zhao, Zijian Ding, Benjamin Brock, Hongbo Rong,
Zhiru Zhang
- Abstract要約: スパースフォーマットの表現とカスタマイズを統一した抽象化を提供する中間言語であるUniSparseを提案する。
既存の属性ベースのフレームワークとは異なり、UniSparseはスパーステンソルの論理的表現を低レベルメモリレイアウトから切り離す。
結果として、リッチなフォーマットのカスタマイズは、明確に定義されたクエリ、突然変異、レイアウトプリミティブの小さなセットで簡潔に表現できる。
- 参考スコア(独自算出の注目度): 13.132033187592349
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ongoing trend of hardware specialization has led to a growing use of
custom data formats when processing sparse workloads, which are typically
memory-bound. These formats facilitate optimized software/hardware
implementations by utilizing sparsity pattern- or target-aware data structures
and layouts to enhance memory access latency and bandwidth utilization.
However, existing sparse tensor programming models and compilers offer little
or no support for productively customizing the sparse formats. Additionally,
because these frameworks represent formats using a limited set of per-dimension
attributes, they lack the flexibility to accommodate numerous new variations of
custom sparse data structures and layouts. To overcome this deficiency, we
propose UniSparse, an intermediate language that provides a unified abstraction
for representing and customizing sparse formats. Unlike the existing
attribute-based frameworks, UniSparse decouples the logical representation of
the sparse tensor (i.e., the data structure) from its low-level memory layout,
enabling the customization of both. As a result, a rich set of format
customizations can be succinctly expressed in a small set of well-defined
query, mutation, and layout primitives. We also develop a compiler leveraging
the MLIR infrastructure, which supports adaptive customization of formats, and
automatic code generation of format conversion and compute operations for
heterogeneous architectures. We demonstrate the efficacy of our approach
through experiments running commonly-used sparse linear algebra operations with
specialized formats on multiple different hardware targets, including an Intel
CPU, an NVIDIA GPU, an AMD Xilinx FPGA, and a simulated processing-in-memory
(PIM) device.
- Abstract(参考訳): ハードウェアの特殊化の進行中の傾向は、通常メモリバウンドであるスパースワークロードの処理において、カスタムデータフォーマットの使用の増加につながっている。
これらのフォーマットは、sparsityパターンまたはtarget-awareデータ構造とレイアウトを利用して、メモリアクセスのレイテンシと帯域使用率を高めることで、最適化されたソフトウェア/ハードウェアの実装を促進する。
しかし、既存のスパーステンソルプログラミングモデルとコンパイラはスパースフォーマットを生産的にカスタマイズするサポートをほとんどあるいは全く提供していない。
さらに、これらのフレームワークはディメンジョン単位の属性の限られたセットを使用してフォーマットを表現しているため、多くの新しいカスタムスパースデータ構造とレイアウトに対応する柔軟性が欠けている。
この欠点を克服するために、スパースフォーマットの表現とカスタマイズのための統一的な抽象化を提供する中間言語UniSparseを提案する。
既存の属性ベースのフレームワークとは異なり、unisparseはスパーステンソル(すなわちデータ構造)の論理表現を低レベルのメモリレイアウトから分離し、両方のカスタマイズを可能にする。
結果として、リッチなフォーマットのカスタマイズは、明確に定義されたクエリ、突然変異、レイアウトプリミティブの小さなセットで簡潔に表現できる。
また、フォーマットの適応的なカスタマイズと、異種アーキテクチャのためのフォーマット変換と計算操作の自動生成をサポートするmlirインフラストラクチャを活用したコンパイラも開発した。
提案手法は,intel cpu,nvidia gpu,amd xilinx fpga,simed processing-in-memory (pim) デバイスなど,複数のハードウェアターゲットに専用フォーマットで汎用のスパース線形代数演算を実行することにより,本手法の有効性を実証する。
関連論文リスト
- MGARD: A multigrid framework for high-performance, error-controlled data
compression and refactoring [12.84272014440601]
MGARD(MultiGrid Adaptive Reducing for floating-point scientific data on structured and unstructured grids)について述べる。
例外的なデータ圧縮機能と正確なエラー制御により、MGARDはストレージの削減、高性能I/O、in-situデータ分析など幅広い要件に対処する。
論文 参考訳(メタデータ) (2024-01-11T15:52:20Z) - Quantifying Language Models' Sensitivity to Spurious Features in Prompt
Design or: How I learned to start worrying about prompt formatting [74.49862625580188]
言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。
いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。
本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
論文 参考訳(メタデータ) (2023-10-17T15:03:30Z) - Exploring Format Consistency for Instruction Tuning [79.0698403613366]
本研究では,Unified Instruction Tuning (UIT) というフレームワークを提案する。
UITはOpenAI APIを呼び出し、PromptSource、FLAN、CrossFitといったさまざまなインストラクションチューニングデータセット間で自動フォーマット転送を行う。
提案手法では,T5-LM-xlにおける未知命令の一般化性能の向上と,自動フォーマット転送のノイズを低減するために,新しいパープレキシティに基づくデノナイジング手法を提案する。
論文 参考訳(メタデータ) (2023-07-28T12:00:13Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - Machine Learning-Driven Adaptive OpenMP For Portable Performance on
Heterogeneous Systems [1.885335997132172]
プログラムを新しい異種プラットフォームに適応させるのは面倒で、開発者は手動で実行パラメータの広大なスペースを探索する必要がある。
本稿では,機械学習による自律的適応のためのOpenMPの拡張を提案する。
私たちのソリューションには、新しい言語構成、コンパイラ変換、ランタイムサポートのセットが含まれています。
論文 参考訳(メタデータ) (2023-03-15T18:37:18Z) - A Multi-Format Transfer Learning Model for Event Argument Extraction via
Variational Information Bottleneck [68.61583160269664]
イベント引数抽出(EAE)は、テキストから所定の役割を持つ引数を抽出することを目的としている。
変動情報のボトルネックを考慮したマルチフォーマット変換学習モデルを提案する。
3つのベンチマークデータセットに対して広範な実験を行い、EAE上での新たな最先端性能を得る。
論文 参考訳(メタデータ) (2022-08-27T13:52:01Z) - Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。
本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
論文 参考訳(メタデータ) (2021-12-03T06:41:19Z) - Efficient Multi-Organ Segmentation Using SpatialConfiguration-Net with
Low GPU Memory Requirements [8.967700713755281]
本研究では,SpatialConfiguration-Net(SCN)に基づくマルチ組織セグメンテーションモデルを用いる。
セグメンテーションモデルのアーキテクチャを改良し,メモリフットプリントの削減を図った。
最後に、我々は最小限の推論スクリプトを実装し、実行時間と必要なGPUメモリの両方を最適化した。
論文 参考訳(メタデータ) (2021-11-26T17:47:10Z) - Memory-based Semantic Segmentation for Off-road Unstructured Natural
Environments [29.498304237783763]
本稿では,セマンティックセグメンテーションのためのメモリモジュールを提案する。
メモリモジュールはトレーニングイメージのかなりの表現をメモリアイテムとして格納する。
我々は,ロボット非構造地上走行データセットとRELLISデータセットについて実験を行った。
論文 参考訳(メタデータ) (2021-08-12T10:04:47Z) - Perceiver IO: A General Architecture for Structured Inputs & Outputs [84.60656759687477]
Perceiver IOは、任意のサイズとセマンティクスの出力を生成するために、モデルの潜在空間を柔軟にクエリすることを学ぶ。
このモデルは、高度に構造化された出力空間を持つタスクに対して強い結果を得る。
Perceiver IOは、GLUE言語ベンチマークでTransformerベースのBERTベースラインにマッチする。
論文 参考訳(メタデータ) (2021-07-30T17:53:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。