論文の概要: MIREncoder: Multi-modal IR-based Pretrained Embeddings for Performance Optimizations
- arxiv url: http://arxiv.org/abs/2407.02238v1
- Date: Tue, 2 Jul 2024 13:00:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 15:25:45.147890
- Title: MIREncoder: Multi-modal IR-based Pretrained Embeddings for Performance Optimizations
- Title（参考訳）: MIREncoder: 性能最適化のためのマルチモーダルIRベースの事前学習埋め込み
- Authors: Akash Dutta, Ali Jannesari,
- Abstract要約: 本稿では,Multi-modal IRベースのオートエンコーダであるMIREncoderを提案する。
マルチモーダルなアプローチにより、コンパイル可能なプログラムからより優れた特徴を抽出できる。
評価の結果,提案手法はオーバヘッドを低減しつつ,技術状況より優れることが示された。
- 参考スコア（独自算出の注目度）: 6.919817502555546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the primary areas of interest in High Performance Computing is the improvement of performance of parallel workloads. Nowadays, compilable source code-based optimization tasks that employ deep learning often exploit LLVM Intermediate Representations (IRs) for extracting features from source code. Most such works target specific tasks, or are designed with a pre-defined set of heuristics. So far, pre-trained models are rare in this domain, but the possibilities have been widely discussed. Especially approaches mimicking large-language models (LLMs) have been proposed. But these have prohibitively large training costs. In this paper, we propose MIREncoder, a M}ulti-modal IR-based Auto-Encoder that can be pre-trained to generate a learned embedding space to be used for downstream tasks by machine learning-based approaches. A multi-modal approach enables us to better extract features from compilable programs. It allows us to better model code syntax, semantics and structure. For code-based performance optimizations, these features are very important while making optimization decisions. A pre-trained model/embedding implicitly enables the usage of transfer learning, and helps move away from task-specific trained models. Additionally, a pre-trained model used for downstream performance optimization should itself have reduced overhead, and be easily usable. These considerations have led us to propose a modeling approach that i) understands code semantics and structure, ii) enables use of transfer learning, and iii) is small and simple enough to be easily re-purposed or reused even with low resource availability. Our evaluations will show that our proposed approach can outperform the state of the art while reducing overhead.
- Abstract（参考訳）: ハイパフォーマンスコンピューティングの主要な関心領域の1つは、並列ワークロードのパフォーマンスの改善である。
現在、ディープラーニングを利用するコンパイル可能なソースコードベースの最適化タスクは、ソースコードから機能を抽出するためにLLVM Intermediate Representations (IR)を利用することが多い。
そのような作業の多くは特定のタスクをターゲットにしているか、あるいは事前に定義されたヒューリスティックセットで設計されている。
これまでのところ、この領域では事前訓練されたモデルはほとんどないが、その可能性については広く議論されている。
特に,大規模言語モデル (LLM) を模倣する手法が提案されている。
しかし、これらには厳しいトレーニングコストが伴う。
本稿では,M}ulti-modal IRベースのオートエンコーダであるMIREncoderを提案する。
マルチモーダルなアプローチにより、コンパイル可能なプログラムからより優れた特徴を抽出できる。
これにより、コード構文、セマンティクス、構造をより良くモデル化できます。
コードベースのパフォーマンス最適化では、これらの機能は最適化決定を行う上で非常に重要です。
事前トレーニングされたモデル/埋め込みは、暗黙的にトランスファーラーニングの使用を可能にし、タスク固有のトレーニングされたモデルから離れるのに役立つ。
さらに、ダウンストリームのパフォーマンス最適化に使用される事前トレーニングされたモデルは、オーバヘッドを低減し、容易に使用できるようにする必要がある。
これらの考察により、我々はモデリングアプローチを提案するようになった。
一 コードの意味と構造を理解すること。
二 転校学習の活用が可能なこと、及び
iii) 小さくてシンプルで、リソースの可用性が低い場合でも、簡単に再利用または再利用できる。
評価の結果,提案手法はオーバヘッドを低減しつつ,最先端の手法よりも優れていることが示された。
関連論文リスト
- EmbedLLM: Learning Compact Representations of Large Language Models [28.49433308281983]
大規模言語モデルのコンパクトなベクトル表現を学習するためのフレームワークである EmbedLLM を提案する。
このような埋め込みを学習するためのエンコーダ-デコーダアプローチと,その有効性を評価するための体系的なフレームワークを導入する。
EmbedLLMはモデルルーティングにおいて,精度とレイテンシの両方において,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-10-03T05:43:24Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - A Reinforcement Learning Environment for Automatic Code Optimization in the MLIR Compiler [0.10923877073891444]
本稿では,MLIRコンパイラ研究の促進を目的とした,MLIRコンパイラの最初のRL環境について紹介する。
また、より単純なアクション部分空間の積として作用空間の新たな定式化を提案し、より効率的かつ効率的な最適化を可能にした。
論文 参考訳（メタデータ） (2024-09-17T10:49:45Z) - Multi-Objective Deep Reinforcement Learning for Optimisation in Autonomous Systems [3.2826250607043796]
MORL(Multi-Objective Reinforcement Learning)技術は存在するが、実世界のASシステムではなくRLベンチマークで採用されている。
本研究では,DWN(Deep W-Learning)と呼ばれるMORL技術を用いて,実行時性能最適化のための最適構成を求める。
我々はDWNとepsilon-greedyアルゴリズムとDeep Q-Networksの2つの単目的最適化実装を比較した。
論文 参考訳（メタデータ） (2024-08-02T11:16:09Z) - ORLM: A Customizable Framework in Training Large Models for Automated Optimization Modeling [15.673219028826173]
本稿では,OR-Instruct という,最適化モデル問題のための半自動データ合成フレームワークを提案する。
我々は、70億のパラメータ(ORLM)を持つ様々なオープンソースのLDMを訓練する。
結果として得られたモデルは、NL4OPT、MAMO、IndustrialORベンチマークにまたがって最先端のパフォーマンスを達成し、大幅な最適化モデリング能力を示す。
論文 参考訳（メタデータ） (2024-05-28T01:55:35Z) - Leveraging Reinforcement Learning and Large Language Models for Code
Optimization [14.602997316032706]
本稿では,コード最適化の複雑さを低減するための新しいフレームワークを提案する。
提案するフレームワークは,大規模言語モデル(LLM)と強化学習(RL)に基づく。
我々は,新しい強化学習アルゴリズムであるCodeT5言語モデルとRRHFを用いて,PIEデータセット上でいくつかの実験を行った。
論文 参考訳（メタデータ） (2023-12-09T19:50:23Z) - CoLLiE: Collaborative Training of Large Language Models in an Efficient
Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。
モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文 参考訳（メタデータ） (2023-12-01T08:02:16Z) - Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。
MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。
ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-10-20T17:58:30Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-03-09T17:26:53Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳（メタデータ） (2021-06-07T11:13:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。