論文の概要: Learning Intermediate Representations using Graph Neural Networks for
NUMA and Prefetchers Optimization
- arxiv url: http://arxiv.org/abs/2203.00611v1
- Date: Tue, 1 Mar 2022 16:51:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 13:44:09.611006
- Title: Learning Intermediate Representations using Graph Neural Networks for
NUMA and Prefetchers Optimization
- Title（参考訳）: グラフニューラルネットワークを用いたNUMAとPrefetchers最適化のための中間表現学習
- Authors: Ali TehraniJamsaz, Mihail Popov, Akash Dutta, Emmanuelle Saillard, Ali
Jannesari
- Abstract要約: 本稿では,コード中の静的中間表現(IR)が,性能プロファイリングの禁止コストを伴わずにNUMA/prefetcher最適化を導出する方法を示す。
静的中間表現に基づくモデルでは,高コストな動的性能プロファイリングに基づく戦略によって得られる性能向上の80%を達成できることを示す。
- 参考スコア（独自算出の注目度）: 1.3999481573773074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is a large space of NUMA and hardware prefetcher configurations that
can significantly impact the performance of an application. Previous studies
have demonstrated how a model can automatically select configurations based on
the dynamic properties of the code to achieve speedups. This paper demonstrates
how the static Intermediate Representation (IR) of the code can guide
NUMA/prefetcher optimizations without the prohibitive cost of performance
profiling. We propose a method to create a comprehensive dataset that includes
a diverse set of intermediate representations along with optimum
configurations. We then apply a graph neural network model in order to validate
this dataset. We show that our static intermediate representation based model
achieves 80% of the performance gains provided by expensive dynamic performance
profiling based strategies. We further develop a hybrid model that uses both
static and dynamic information. Our hybrid model achieves the same gains as the
dynamic models but at a reduced cost by only profiling 30% of the programs.
- Abstract（参考訳）: NUMAとハードウェアのプレフィッシャー構成の広いスペースがあり、アプリケーションのパフォーマンスに大きな影響を与えます。
これまでの研究では、モデルがコードの動的特性に基づいて設定を自動的に選択してスピードアップを実現する方法が示されている。
本稿では,コード中の静的中間表現(IR)が,性能プロファイリングの禁止コストを伴わずにNUMA/prefetcher最適化を導く方法を示す。
本稿では,多様な中間表現と最適構成を含む包括的データセットを作成する手法を提案する。
次に、このデータセットを検証するためにグラフニューラルネットワークモデルを適用する。
静的な中間表現に基づくモデルは、高価な動的パフォーマンスプロファイリングに基づく戦略によって得られる性能向上の80%を達成する。
さらに静的情報と動的情報の両方を利用するハイブリッドモデルを開発した。
ハイブリッドモデルは動的モデルと同等の性能を発揮するが,プログラムの30%のみをプロファイリングすることでコストを削減できる。
関連論文リスト
- Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。
ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。
ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
論文 参考訳（メタデータ） (2024-10-15T17:47:44Z) - Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳（メタデータ） (2024-03-03T08:25:04Z) - Majority Kernels: An Approach to Leverage Big Model Dynamics for Efficient Small Model Training [32.154166415680066]
蒸留、圧縮、量子化といった手法は、高性能な大きなモデルを利用してより小さな性能のモデルを誘導するのに役立つ。
本稿では、単一トレーニングランが同時に、より大きなパフォーマンスモデルをトレーニングし、より小さなデプロイメントモデルを導出できるという仮説を考察する。
論文 参考訳（メタデータ） (2024-02-07T17:07:41Z) - Med-DANet V2: A Flexible Dynamic Architecture for Efficient Medical
Volumetric Segmentation [29.082411035685773]
医用セグメンテーションのための動的アーキテクチャネットワーク(Med-DANet)は、良好な精度と効率のトレードオフを実現している。
本稿では、データ自体とモデル構造の両方の観点から、動的推論フレームワークの統一的な定式化について検討する。
当社のフレームワークでは,BraTS 2019のセグメンテーション結果と同等で,モデル効率を4.1倍と17.3倍に向上しています。
論文 参考訳（メタデータ） (2023-10-28T09:57:28Z) - Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How [62.467716468917224]
本稿では,最適事前学習モデルとハイパーパラメータを共同で探索し,微調整する手法を提案する。
本手法は,一連のデータセット上で,事前学習したモデルの性能に関する知識を伝達する。
得られたアプローチによって、新しいデータセットの正確な事前学習モデルを迅速に選択できることを実証的に実証する。
論文 参考訳（メタデータ） (2023-06-06T16:15:26Z) - MILO: Model-Agnostic Subset Selection Framework for Efficient Model
Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。
実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文 参考訳（メタデータ） (2023-01-30T20:59:30Z) - Building Resilience to Out-of-Distribution Visual Data via Input
Optimization and Model Finetuning [13.804184845195296]
本稿では,特定の目標視モデルに対する入力データを最適化する前処理モデルを提案する。
自律走行車におけるセマンティックセグメンテーションの文脈におけるアウト・オブ・ディストリビューションシナリオについて検討する。
提案手法により, 微調整モデルに匹敵するデータの性能を実現できることを示す。
論文 参考訳（メタデータ） (2022-11-29T14:06:35Z) - Prototypical Fine-tuning: Towards Robust Performance Under Varying Data
Sizes [47.880781811936345]
我々は、微調整事前学習言語モデル(LM)のための新しいフレームワークを提案する。
提案手法は,データポイント数やモデル固有の属性に応じて,モデルキャパシティを自動的に調整することができる。
論文 参考訳（メタデータ） (2022-11-24T14:38:08Z) - Meta-Ensemble Parameter Learning [35.6391802164328]
本稿では,メタラーニング手法を用いて,単一モデルのパラメータを直接予測できるかどうかを考察する。
WeightFormerは、トランスフォーマーベースのモデルで、フォワードパスの層で生徒のネットワーク重みを予測できる。
論文 参考訳（メタデータ） (2022-10-05T00:47:24Z) - Data Summarization via Bilevel Optimization [48.89977988203108]
シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。
本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-26T09:08:38Z) - Dynamic Memory Induction Networks for Few-Shot Text Classification [84.88381813651971]
本稿では,テキスト分類のための動的メモリ誘導ネットワーク(DMIN)を提案する。
提案したモデルでは, miniRCV1 と ODIC データセット上での新たな最先端結果を実現し,最高の性能(精度)を24%向上させる。
論文 参考訳（メタデータ） (2020-05-12T12:41:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。