論文の概要: Learning to Rank Graph-based Application Objects on Heterogeneous Memories

• arxiv url: http://arxiv.org/abs/2211.02195v1
• Date: Fri, 4 Nov 2022 00:20:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 17:02:28.801557
• Title: Learning to Rank Graph-based Application Objects on Heterogeneous Memories
• Title（参考訳）: 異種記憶を用いたグラフベースアプリケーションオブジェクトのランク付け学習
• Authors: Diego Moura, Vinicius Petrucci and Daniel Mosse
• Abstract要約: 本稿では,アプリケーションの性能に最も影響を与えるアプリケーションオブジェクトを識別し,特徴付ける手法について述べる。 予測モデルを用いてデータ配置を行うことで,ベースラインのアプローチと比較して,実行時間の劣化を12% (平均) および30% (最大) 削減することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Persistent Memory (PMEM), also known as Non-Volatile Memory (NVM), can deliver higher density and lower cost per bit when compared with DRAM. Its main drawback is that it is typically slower than DRAM. On the other hand, DRAM has scalability problems due to its cost and energy consumption. Soon, PMEM will likely coexist with DRAM in computer systems but the biggest challenge is to know which data to allocate on each type of memory. This paper describes a methodology for identifying and characterizing application objects that have the most influence on the application's performance using Intel Optane DC Persistent Memory. In the first part of our work, we built a tool that automates the profiling and analysis of application objects. In the second part, we build a machine learning model to predict the most critical object within large-scale graph-based applications. Our results show that using isolated features does not bring the same benefit compared to using a carefully chosen set of features. By performing data placement using our predictive model, we can reduce the execution time degradation by 12\% (average) and 30\% (max) when compared to the baseline's approach based on LLC misses indicator.
• Abstract（参考訳）: 永続メモリ(PMEM)はNon-Volatile Memory(NVM)としても知られ、DRAMと比較して密度が高く1ビットあたりのコストも低い。 主な欠点は、一般的にDRAMよりも遅いことである。 一方、DRAMはコストとエネルギー消費のためにスケーラビリティに問題がある。 PMEMはまもなく、コンピュータシステム内のDRAMと共存するでしょうが、最大の課題は、どのデータをそれぞれのメモリに割り当てるかを知ることです。 本稿では,Intel Optane DC Persistent Memory を用いてアプリケーションの性能に最も影響を与えるアプリケーションオブジェクトの識別と特徴付けを行う手法について述べる。 作業の最初の部分では、アプリケーションオブジェクトのプロファイリングと分析を自動化するツールを開発しました。 第2部では、大規模グラフベースのアプリケーションの中で最も重要なオブジェクトを予測する機械学習モデルを構築します。 以上の結果から,分離した機能を使うことは,慎重に選択した機能セットを使用するのと同等の利点をもたらさないことが示された。 予測モデルを用いてデータ配置を行うことで,LLCミスインジケータに基づくベースラインのアプローチと比較して,実行時間の劣化を平均12\%(平均)と30\%(最大)に低減することができる。

関連論文リスト

• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs [7.816840847892339]
  投機的復号法(SD)は、LLM推論で実現可能な相当な高速化のために、かなりの量の研究の注目を集めている。 本研究では,Skippy Simultaneous Speculative Decoding (S3D)を提案する。 提案手法は,最小限のアーキテクチャ変更とデータトレーニングを必要としながら,最高のパフォーマンス・メモリ比の1つを達成した。
  論文  参考訳（メタデータ） (2024-05-30T17:54:35Z)
• LLM in a flash: Efficient Large Language Model Inference with Limited Memory [19.668719251238176]
  大規模言語モデル(LLM)は現代の自然言語処理の中心であり、様々なタスクにおいて例外的なパフォーマンスを提供する。 本稿では,利用可能なDRAM容量を超えるLLMを効率的に動作させるという課題に対処する。 本手法は,フラッシュメモリの特性を考慮した推論コストモデルの構築を含む。
  論文  参考訳（メタデータ） (2023-12-12T18:57:08Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Pex: Memory-efficient Microcontroller Deep Learning through Partial Execution [11.336229510791481]
  マイクロコントローラ深層学習のための新しい実行パラダイムについて論じる。 ニューラルネットワークの実行を変更して、メモリの完全なバッファーを作らないようにする。 これは演算子のプロパティを利用することで実現され、一度にインプット/アウトプットのごく一部を消費/生産することができる。
  論文  参考訳（メタデータ） (2022-11-30T18:47:30Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
  一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。 本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。 また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
  論文  参考訳（メタデータ） (2022-05-08T02:24:43Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)
• PIM-DRAM:Accelerating Machine Learning Workloads using Processing in Memory based on DRAM Technology [2.6168147530506958]
  MLワークロードにおける行列ベクトル演算を高速化する処理インメモリ(PIM)プリミティブを提案する。 提案したアーキテクチャ,マッピング,データフローは,GPUよりも最大で23倍,6.5倍のメリットが得られることを示す。
  論文  参考訳（メタデータ） (2021-05-08T16:39:24Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)
• Diagonal Memory Optimisation for Machine Learning on Micro-controllers [21.222568055417717]
  マイクロコントローラと低消費電力CPUは、機械学習モデルによる推論の実行にますます利用されている。 これらのターゲットで利用可能な少量のRAMは、実行可能なモデルのサイズを制限する。 対角メモリ最適化技術は、11の一般的なモデルに適用した場合、最大34.5%のメモリ節約を実現するために説明され、示されている。
  論文  参考訳（メタデータ） (2020-10-04T19:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。