論文の概要: Transfer Learning Across Heterogeneous Features For Efficient Tensor Program Generation

• arxiv url: http://arxiv.org/abs/2304.05430v2
• Date: Tue, 26 Dec 2023 20:15:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 23:13:03.668531
• Title: Transfer Learning Across Heterogeneous Features For Efficient Tensor Program Generation
• Title（参考訳）: 効率の良いテンソルプログラム生成のための異種特徴間の転送学習
• Authors: Gaurav Verma, Siddhisanket Raskar, Zhen Xie, Abid M Malik, Murali Emani, Barbara Chapman
• Abstract要約: 本研究では、既存の最先端データセットであるTenSetについて、テスト分割戦略の比較分析を行い、データセットを熟成するための方法論を提案する。 テンソルプログラムをチューニングすることで、ニューラルネットワークやハードウェア固有の機能を組み込むことができる。 我々のアプローチは、Pairwise Comparison Accuracy(PCA)を妥協することなく、ベースラインの最大45%のデータセットを作成できる。
• 参考スコア（独自算出の注目度）: 5.814263311337232
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Tuning tensor program generation involves searching for various possible program transformation combinations for a given program on target hardware to optimize the tensor program execution. It is already a complex process because of the massive search space and exponential combinations of transformations make auto-tuning tensor program generation more challenging, especially when we have a heterogeneous target. In this research, we attempt to address these problems by learning the joint neural network and hardware features and transferring them to the new target hardware. We extensively study the existing state-of-the-art dataset, TenSet, perform comparative analysis on the test split strategies and propose methodologies to prune the dataset. We adopt an attention-inspired approach for tuning the tensor programs enabling them to embed neural network and hardware-specific features. Our approach could prune the dataset up to 45\% of the baseline without compromising the Pairwise Comparison Accuracy (PCA). Further, the proposed methodology can achieve on-par or improved mean inference time with 25%-40% of the baseline tuning time across different networks and target hardware.
• Abstract（参考訳）: チューニングテンソルプログラム生成は、テンソルプログラムの実行を最適化するために、ターゲットハードウェア上の所定のプログラムに対する様々なプログラム変換の組み合わせを探索する。 大規模な探索空間と指数的な変換の組み合わせにより、特に不均一なターゲットを持つ場合、自動チューニングテンソルプログラム生成がより困難になるため、すでに複雑なプロセスである。 本研究では,ニューラルネットワークとハードウェアの特徴を学習し,それらを新たなターゲットハードウェアに転送することで,これらの問題に対処する。 既存の最先端データセットであるtensetを広範囲に調査し,テスト分割戦略の比較分析を行い,データセットをpruneする手法を提案する。 ニューラルネットワークとハードウェア特有の機能を組み込むために,テンソルプログラムのチューニングに注意を引いたアプローチを採用する。 我々のアプローチは、Pairwise Comparison Accuracy (PCA) を妥協することなく、ベースラインの最大45倍のデータセットを作成できる。 さらに,提案手法は,ベースラインチューニング時間の25%～40%を異なるネットワークとターゲットハードウェアに分散して,平均推定時間をほぼあるいは改善することができる。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Layer Ensemble Averaging for Improving Memristor-Based Artificial Neural Network Performance [0.6560901506023631]
  memristorsのようなインメモリの計算アーキテクチャは、ハードウェアの非理想性によって、将来性はあるが課題に直面している。 レイヤアンサンブル平均化は、事前学習されたニューラルネットワークソリューションをソフトウェアから欠陥のあるハードウェアクロスバーにマッピングするテクニックである。 その結果、レイヤアンサンブル平均化は、ソフトウェアベースラインまで、欠陥のあるメモリネットワーク性能を確実に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T03:19:31Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs [59.96266198512243]
  本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。 本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。 合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-21T18:58:24Z)
• A Graph Deep Learning Framework for High-Level Synthesis Design Space Exploration [11.154086943903696]
  High-Level Synthesisは、アプリケーション固有の高速プロトタイピングのためのソリューションである。 本稿では,加速性能とハードウェアコストを共同で予測するグラフニューラルネットワークHLSを提案する。 提案手法は,一般的なシミュレータと同等の精度で予測できることを示す。
  論文  参考訳（メタデータ） (2021-11-29T18:17:45Z)
• A Data-Centric Optimization Framework for Machine Learning [9.57755812904772]
  私たちは、任意のディープニューラルネットワークをトレーニングするためのフレキシブルでユーザ指向のパイプラインを定義することで、ディープラーニング研究者に力を与えます。 パイプラインは、PyTorchまたはONNXの標準ネットワークから始まり、プログレッシブローディングを通じて変換される。 我々は10の異なるネットワーク上での競争性能やスピードアップを実演し、インタラクティブな最適化によってEfficientNetの新しい機会を発見する。
  論文  参考訳（メタデータ） (2021-10-20T22:07:40Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Classification Algorithm of Speech Data of Parkinsons Disease Based on Convolution Sparse Kernel Transfer Learning with Optimal Kernel and Parallel Sample Feature Selection [14.1270098940551]
  スパースカーネル転送学習に基づく新しいPD分類アルゴリズムを提案する。 スパース伝達学習は公共データセットからPD音声の特徴構造情報を抽出するために用いられる。 提案アルゴリズムは、分類精度が明らかに向上する。
  論文  参考訳（メタデータ） (2020-02-10T13:20:21Z)
• Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
  本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。 そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
  論文  参考訳（メタデータ） (2019-12-27T21:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。