Fugu-MT 論文翻訳(概要): DMC4ML: Data Movement Complexity for Machine Learning

論文の概要: DMC4ML: Data Movement Complexity for Machine Learning

arxiv url: http://arxiv.org/abs/2312.14441v1
Date: Fri, 22 Dec 2023 05:12:30 GMT
ステータス: 処理完了
システム内更新日: 2023-12-25 16:02:30.943227
Title: DMC4ML: Data Movement Complexity for Machine Learning
Title（参考訳）: DMC4ML: 機械学習のためのデータ移動複雑性
Authors: Chen Ding, Christopher Kanan, Dylan McKellips, Toranosuke Ozawa, Arian Shahmirza, Wesley Smith
Abstract要約: 本稿では,変圧器,空間畳み込み,FFTという3つの機械学習アルゴリズムを解析する。従来の時間や空間の複雑さではなく、抽象的なメモリ階層におけるメモリアクセスのコストを測定する。
参考スコア（独自算出の注目度）: 12.47267258058929
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The greatest demand for today's computing is machine learning. This paper analyzes three machine learning algorithms: transformers, spatial convolution, and FFT. The analysis is novel in three aspects. First, it measures the cost of memory access on an abstract memory hierarchy, instead of traditional time or space complexity. Second, the analysis is asymptotic and identifies the primary sources of the memory cost. Finally, the result is symbolic, which can be used to select algorithmic parameters such as the group size in grouped query attention for any dimension size and number of heads and the batch size for batched convolution for any image size and kernel size.
Abstract（参考訳）: 今日のコンピューティングの最大の需要は機械学習です。本稿では,変圧器,空間畳み込み,FFTという3つの機械学習アルゴリズムを解析する。その分析は3つの点で新しい。まず、従来の時間や空間の複雑さではなく、抽象的なメモリ階層におけるメモリアクセスのコストを測定する。第2に、解析は漸近的であり、メモリコストの主な源を特定する。最後に、結果はシンボリックであり、任意の次元サイズとヘッド数に対してグループ化されたクエリアテンションにおけるグループサイズや、任意の画像サイズとカーネルサイズに対してバッチ化された畳み込みのためのバッチサイズなどのアルゴリズムパラメータを選択するために使用できる。

関連論文リスト

Cut Your Losses in Large-Vocabulary Language Models [102.6981011879656]
我々は,全トークンのロジットをグローバルメモリに実体化することなく,クロスエントロピー損失を計算する手法であるカットクロスエントロピー(CCE)を提案する。 CCEはロスのメモリフットプリントを24GBから1MBに減らし、ヘッドのトレーニング時間のメモリ消費を28GBから1GBに短縮する。
論文参考訳（メタデータ） (2024-11-13T20:30:15Z)
WWW: What, When, Where to Compute-in-Memory [6.944507442667191]
Compute-in-Memory(CiM)は機械学習(ML)推論中に行列乗算を行うための高エネルギー効率ソリューションとして登場した。ここでは、効率的な行列乗算のためのキャッシュ階層に、どのようなCiMを使用するか、いつどのように組み込むかを検討する。実験により、CiM集積メモリは、テンソルコアのようなベースラインアーキテクチャと比較して、最大3.4倍、スループットを最大15.6倍向上することが示された。
論文参考訳（メタデータ） (2023-12-26T06:16:12Z)
Learning-Based Dimensionality Reduction for Computing Compact and Effective Local Feature Descriptors [101.62384271200169]
特徴の形でのイメージパッチの独特な表現は多くのコンピュータビジョンとロボティクスのタスクの重要な構成要素である。マルチ層パーセプトロン(MLP)を用いて,低次元ながら高品質な記述子を抽出する。視覚的ローカライゼーション、パッチ検証、画像マッチング、検索など、さまざまなアプリケーションについて検討する。
論文参考訳（メタデータ） (2022-09-27T17:59:04Z)
Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文参考訳（メタデータ） (2022-04-19T10:41:09Z)
Non-Volatile Memory Accelerated Geometric Multi-Scale Resolution Analysis [2.869486692963884]
我々は,幾何多スケール分解能解析 (Geometric Multi-Scale Resolution Analysis, GMRA) と呼ばれる既存の次元削減手法を再実装する。私たちの実装では、Pythonデータ型をネイティブにサポートするPyMMと呼ばれるMCASの特殊なバージョンを使用しています。我々は、PyMMの実装をDRAMの実装と比較し、データがDRAMに適合すると、PyMMは競合するランタイムを提供することを示す。
論文参考訳（メタデータ） (2022-02-21T20:07:29Z)
Memory-Efficient Sequential Pattern Mining with Hybrid Tries [3.1747517745997014]
本稿では,逐次パターンマイニング(SPM)のためのメモリ効率向上手法を提案する。大規模なデータセットでは、256GBのシステムメモリ内で唯一の能力を持つSPMアプローチであり、メモリ消費の1.7TBを節約できる可能性がある。
論文参考訳（メタデータ） (2022-02-06T16:25:11Z)
SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文参考訳（メタデータ） (2021-08-23T21:03:09Z)
Hierarchical Random Walker Segmentation for Large Volumetric Biomedical Data [4.974890682815778]
画像セグメンテーションのためのランダムウォーカー法は半自動画像セグメンテーションの一般的なツールである。線形実行時間とメモリ要求は、サイズが増大する3dデータセットに非現実的に適用する。サブ線形実行時間と一定メモリの複雑さを実現する階層型フレームワークを提案する。
論文参考訳（メタデータ） (2021-03-17T11:02:44Z)
BEAR: Sketching BFGS Algorithm for Ultra-High Dimensional Feature Selection in Sublinear Memory [13.596664481933875]
現在の大規模スケッチアルゴリズムは、スケッチされた領域における不可逆的な衝突とノイズの蓄積により、メモリ精度のトレードオフが低いことを示す。我々はBEARを開発し、著名なブロイデン=フレッチャー=ゴールドファーブ=シャノン(BFGS)アルゴリズムに2階勾配を格納することで余分な衝突を避ける。実世界のデータセットの実験により、BEARは1次スケッチアルゴリズムと同一の分類精度を達成するために最大で3桁のメモリスペースを必要とすることが示された。
論文参考訳（メタデータ） (2020-10-26T18:31:27Z)
Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文参考訳（メタデータ） (2020-10-02T10:41:59Z)
EPOS: Estimating 6D Pose of Objects with Symmetries [57.448933686429825]
1つのRGB入力から利用可能な3次元モデルを用いて、剛体物体の6次元ポーズを推定する新しい手法を提案する。オブジェクトは、体系的な方法で対称性を許容するコンパクトな表面フラグメントによって表現される。エンコーダデコーダネットワークを用いて,高密度サンプリング画素とフラグメントの対応性を予測する。
論文参考訳（メタデータ） (2020-04-01T17:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。