論文の概要: Multi-Parameter Performance Modeling via Tensor Completion

• arxiv url: http://arxiv.org/abs/2210.10184v2
• Date: Mon, 1 May 2023 16:26:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 19:19:47.501620
• Title: Multi-Parameter Performance Modeling via Tensor Completion
• Title（参考訳）: テンソル完了によるマルチパラメータ性能モデリング
• Authors: Edward Hutter and Edgar Solomonik
• Abstract要約: 通常のグリッドを用いてアプリケーションの入力領域と設定領域を識別する。 これらのテンソルの近似には,低ランクカノニカル・ポリディクス(CP)テンソル分解が有効であることを示す。 次に、観測ランタイムのスパースセットが与えられた場合のCP分解を最適化するためにテンソル補完を用いる。
• 参考スコア（独自算出の注目度）: 1.2691047660244335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance tuning, software/hardware co-design, and job scheduling are among the many tasks that rely on models to predict application performance. We propose and evaluate low rank tensor decomposition for modeling application performance. We discretize the input and configuration domain of an application using regular grids. Application execution times mapped within grid-cells are averaged and represented by tensor elements. We show that low-rank canonical-polyadic (CP) tensor decomposition is effective in approximating these tensors. We further show that this decomposition enables accurate extrapolation of unobserved regions of an application's parameter space. We then employ tensor completion to optimize a CP decomposition given a sparse set of observed runtimes. We consider alternative piecewise/grid-based models and supervised learning models for six applications and demonstrate that CP decomposition optimized using tensor completion offers higher prediction accuracy and memory-efficiency for high-dimensional applications.
• Abstract（参考訳）: パフォーマンスチューニング、ソフトウェア/ハードウェアの共同設計、ジョブスケジューリングは、アプリケーションパフォーマンスを予測するモデルに依存する多くのタスクの1つです。 アプリケーションの性能をモデル化するための低階テンソル分解法を提案し評価する。 通常のグリッドを用いてアプリケーションの入力領域と設定領域を識別する。 グリッドセル内でマップされたアプリケーション実行時間は平均化され、テンソル要素によって表現される。 これらのテンソルの近似には,低ランクカノニカル・ポリディクス(CP)テンソル分解が有効であることを示す。 さらに、この分解により、アプリケーションのパラメータ空間の未観測領域の正確な外挿が可能になることを示す。 次に、観測ランタイムのスパースセットが与えられた場合のCP分解を最適化するためにテンソル補完を用いる。 我々は,6つのアプリケーションに対して,分割/グリッドベースモデルと教師付き学習モデルを検討するとともに,テンソル補完により最適化されたcp分解が,高い予測精度と高次元アプリケーションにおけるメモリ効率をもたらすことを実証する。

関連論文リスト

• Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think [53.2706196341054]
  認識された非効率性は、これまで気付かれなかった推論パイプラインの欠陥によって引き起こされたことを示している。 タスク固有の損失を伴う単一ステップモデル上でエンドツーエンドの微調整を行い、他の拡散に基づく深さモデルや正規推定モデルよりも優れた決定論的モデルを得る。
  論文  参考訳（メタデータ） (2024-09-17T16:58:52Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Efficient Nonparametric Tensor Decomposition for Binary and Count Data [27.02813234958821]
  本稿では、二分数テンソルと数テンソルのアンダーラインデコンポジションとして、アンダーライン効率のアンダーラインNonアンダーラインテンソルであるENTEDを提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:27:03Z)
• Streaming Generalized Canonical Polyadic Tensor Decompositions [0.0]
  我々は、ストリーミングデータの一般化正準ポリアディックテンソル分解を計算するために、オンラインGCPと呼ぶ方法を開発した。 ストリーミングの場合、テンソルデータは時間とともに徐々に観察され、アルゴリズムは事前データへの限られたアクセスでGCPの分解を漸進的に更新する必要がある。
  論文  参考訳（メタデータ） (2021-10-27T15:26:24Z)
• Using Graph Neural Networks to model the performance of Deep Neural Networks [2.1151356984322307]
  グラフ表現を取り入れた新しいパフォーマンスモデルを開発した。 実験により,HalideモデルとTVMモデルと比較すると,予測誤差が7:75x,12x減少した。
  論文  参考訳（メタデータ） (2021-08-27T20:20:17Z)
• Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
  我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。 本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
  論文  参考訳（メタデータ） (2021-06-17T02:40:18Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)
• Graph Prolongation Convolutional Networks: Explicitly Multiscale Machine Learning on Graphs with Applications to Modeling of Cytoskeleton [0.0]
  我々は新しいタイプのアンサンブルグラフ畳み込みネットワーク(GCN)モデルを定義する。 グラフの空間スケール間のマッピングに最適化された線形射影演算子を用いて、このアンサンブルモデルは、最終的な予測のために各スケールからの情報を集約することを学ぶ。
  論文  参考訳（メタデータ） (2020-02-14T01:56:17Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。