論文の概要: High-Dimensional Performance Modeling via Tensor Completion

• arxiv url: http://arxiv.org/abs/2210.10184v1
• Date: Tue, 18 Oct 2022 22:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 15:56:46.871913
• Title: High-Dimensional Performance Modeling via Tensor Completion
• Title（参考訳）: テンソル補完による高次元性能モデリング
• Authors: Edward Hutter and Edgar Solomonik
• Abstract要約: これらのテンソルの近似には,低ランクカノニカル・ポリジウムテンソル分解が有効であることを示す。 6つのアプリケーションに対してP/Gと教師付き学習モデルを提案する。
• 参考スコア（独自算出の注目度）: 1.2691047660244335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance tuning, software/hardware co-design, and job scheduling are among the many tasks that rely on models to predict application performance. We propose and evaluate low rank tensor decomposition for modeling application performance. We use tensors to represent regular grids that discretize the input and configuration domain of an application. Application execution times mapped within grid-cells are averaged and represented by tensor elements. We show that low-rank canonical-polyadic (CP) tensor decomposition is effective in approximating these tensors. We then employ tensor completion to optimize a CP decomposition given a sparse set of observed runtimes. We consider alternative piecewise/grid-based (P/G) and supervised learning models for six applications and demonstrate that P/G models are significantly more accurate relative to model size. Among P/G models, CP decomposition of regular grids (CPR) offers higher accuracy and memory-efficiency, faster optimization, and superior extensibility via user-selected loss functions and domain partitioning. CPR models achieve a 2.18x geometric mean decrease in mean prediction error relative to the most accurate alternative models of size $\le$10 kilobytes.
• Abstract（参考訳）: パフォーマンスチューニング、ソフトウェア/ハードウェアの共同設計、ジョブスケジューリングは、アプリケーションパフォーマンスを予測するモデルに依存する多くのタスクの1つです。 アプリケーションの性能をモデル化するための低階テンソル分解法を提案し評価する。 テンソルを使用して、アプリケーションの入力と設定のドメインを識別する正規のグリッドを表現します。 グリッドセル内でマップされたアプリケーション実行時間は平均化され、テンソル要素によって表現される。 これらのテンソルの近似には,低ランクカノニカル・ポリディクス(CP)テンソル分解が有効であることを示す。 次に、観測ランタイムのスパースセットが与えられた場合のCP分解を最適化するためにテンソル補完を用いる。 我々は,P/Gモデルと教師付き学習モデルを6つのアプリケーションに対して検討し,P/Gモデルがモデルサイズに対して有意に精度が高いことを示す。 P/Gモデルの中で、正規グリッド(CPR)のCP分解は、高い精度とメモリ効率、最適化の高速化、ユーザ選択損失関数とドメイン分割による拡張性の向上を提供する。 cprモデルは、最大10キロバイトの最も正確な代替モデルと比較して平均予測誤差の2.18倍の幾何学的平均減少を達成している。

関連論文リスト

• Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think [53.2706196341054]
  認識された非効率性は、これまで気付かれなかった推論パイプラインの欠陥によって引き起こされたことを示している。 タスク固有の損失を伴う単一ステップモデル上でエンドツーエンドの微調整を行い、他の拡散に基づく深さモデルや正規推定モデルよりも優れた決定論的モデルを得る。
  論文  参考訳（メタデータ） (2024-09-17T16:58:52Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Efficient Nonparametric Tensor Decomposition for Binary and Count Data [27.02813234958821]
  本稿では、二分数テンソルと数テンソルのアンダーラインデコンポジションとして、アンダーライン効率のアンダーラインNonアンダーラインテンソルであるENTEDを提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:27:03Z)
• Streaming Generalized Canonical Polyadic Tensor Decompositions [0.0]
  我々は、ストリーミングデータの一般化正準ポリアディックテンソル分解を計算するために、オンラインGCPと呼ぶ方法を開発した。 ストリーミングの場合、テンソルデータは時間とともに徐々に観察され、アルゴリズムは事前データへの限られたアクセスでGCPの分解を漸進的に更新する必要がある。
  論文  参考訳（メタデータ） (2021-10-27T15:26:24Z)
• Using Graph Neural Networks to model the performance of Deep Neural Networks [2.1151356984322307]
  グラフ表現を取り入れた新しいパフォーマンスモデルを開発した。 実験により,HalideモデルとTVMモデルと比較すると,予測誤差が7:75x,12x減少した。
  論文  参考訳（メタデータ） (2021-08-27T20:20:17Z)
• Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
  我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。 本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
  論文  参考訳（メタデータ） (2021-06-17T02:40:18Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)
• Graph Prolongation Convolutional Networks: Explicitly Multiscale Machine Learning on Graphs with Applications to Modeling of Cytoskeleton [0.0]
  我々は新しいタイプのアンサンブルグラフ畳み込みネットワーク(GCN)モデルを定義する。 グラフの空間スケール間のマッピングに最適化された線形射影演算子を用いて、このアンサンブルモデルは、最終的な予測のために各スケールからの情報を集約することを学ぶ。
  論文  参考訳（メタデータ） (2020-02-14T01:56:17Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。