論文の概要: Learning to Combine Instructions in LLVM Compiler

• arxiv url: http://arxiv.org/abs/2202.12379v1
• Date: Tue, 22 Feb 2022 06:20:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-06 12:32:49.125367
• Title: Learning to Combine Instructions in LLVM Compiler
• Title（参考訳）: LLVMコンパイラのインストラクションを組み合わせるための学習
• Authors: Sandya Mannarswamy, Dibyendu Das
• Abstract要約: 我々は、従来の命令コンバータ(IC)に関連する課題を軽減するために、NIC(Neural Instruction Combiner)を実装している。 従来のICとニューラルマシンの翻訳基準であるBleuの精度スコア(0.94)と比較すると,NICの正確な一致率は72%であった。
• 参考スコア（独自算出の注目度）: 1.2987894327817158
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Instruction combiner (IC) is a critical compiler optimization pass, which replaces a sequence of instructions with an equivalent and optimized instruction sequence at basic block level. There can be thousands of instruction-combining patterns which need to be frequently updated as new coding idioms/applications and novel hardware evolve over time. This results in frequent updates to the IC optimization pass thereby incurring considerable human effort and high software maintenance costs. To mitigate these challenges associated with the traditional IC, we design and implement a Neural Instruction Combiner (NIC) and demonstrate its feasibility by integrating it into the standard LLVM compiler optimization pipeline. NIC leverages neural sequence-to-sequence (Seq2Seq) models for generating optimized encoded IR sequence from the unoptimized encoded IR sequence. To the best of our knowledge, ours is the first work demonstrating the feasibility of a neural instruction combiner built into a full-fledged compiler pipeline. Given the novelty of this task, we built a new dataset for training our NIC neural model. We show that NIC achieves exact match results percentage of 72% for optimized sequences as compared to traditional IC and neural machine translation metric Bleu precision score of 0.94, demonstrating its feasibility in a production compiler pipeline.
• Abstract（参考訳）: Instruction Combinr (IC) は、命令列を基本ブロックレベルで等価で最適化された命令列に置き換える重要なコンパイラ最適化パスである。 新しいコーディングイディオム/アプリケーションや新しいハードウェアが時間とともに進化するにつれて、頻繁に更新する必要がある命令合成パターンは何千もある。 これにより、IC最適化パスの頻繁な更新により、かなりの人的労力と高いソフトウェアメンテナンスコストが発生する。 従来のICにまつわるこれらの課題を軽減するため、我々はNIC(Neural Instruction Combiner)を設計、実装し、標準のLLVMコンパイラ最適化パイプラインに統合することでその実現可能性を示す。 NICは、最適化されたエンコードされたIRシーケンスを最適化されていないエンコードされたIRシーケンスから生成するために、ニューラルシーケンス対シーケンス(Seq2Seq)モデルを利用する。 私たちの知る限りでは、本格的なコンパイラパイプラインに組み込まれたニューラルネットワーク命令コンバータの実現可能性を示す最初の研究です。 このタスクの新規性を考慮して、NICニューラルモデルをトレーニングするための新しいデータセットを構築しました。 NIC は,従来の IC およびニューラルマシン翻訳基準である Bleu の精度スコア 0.94 と比較して,最適化シーケンスに対して 72% の正確な一致率を達成し,実運用コンパイラパイプラインで実現可能であることを示す。

関連論文リスト

• UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.12010207132204]
  UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
  論文  参考訳（メタデータ） (2024-06-26T08:44:36Z)
• Use Your INSTINCT: INSTruction optimization for LLMs usIng Neural bandits Coupled with Transformers [66.823588073584]
  大規模言語モデル (LLM) は命令追従能力に優れ、様々なアプリケーションで優れた性能を発揮している。 最近の研究は、ブラックボックスLLMに与えられる命令を自動的に最適化するために、クエリ効率のよいベイズ最適化(BO)アルゴリズムを用いている。 NNサロゲートによりBOのGPを置換し,ブラックボックスLLMの命令を最適化するニューラルバンディットアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:01:16Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Boosting Neural Networks to Decompile Optimized Binaries [13.255618541522436]
  Decompilation は低レベルプログラム言語 (LPL) を機能的に等価な高レベルプログラム言語 (HPL) に変換することを目的としている。 本稿では,コンパイラ最適化バイナリをターゲットとしたNeurDPという新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-03T06:45:54Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to Infer Hardware Performances [58.720142291102135]
  VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。 これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-05-09T22:48:39Z)
• FPGA-based AI Smart NICs for Scalable Distributed AI Training Systems [62.20308752994373]
  我々は、フィールドプログラマブルゲートアレイ(FPGA)を用いた分散AI訓練システムのための新しいスマートネットワークインタフェースカード(NIC)を提案する。 提案するFPGAベースのAIスマートNICは,従来のNICを用いたベースラインシステムと比較して,6ノードで1.6倍,32ノードで2.5倍の性能向上が期待できる。
  論文  参考訳（メタデータ） (2022-04-22T21:57:00Z)
• Static Neural Compiler Optimization via Deep Reinforcement Learning [1.458855293397494]
  本稿では,位相整合問題に対する深層強化学習手法を用いる。 LLVMのO3シークエンスを構成するサブシーケンスを用いて、エージェントはトレーニングに使用するソースコードのセット上でO3シークエンスより優れていることを学習する。 我々は、我々のアプローチを用いて訓練されたモデルは、ニューラル最適化エージェントとして現代のコンパイラに統合できると考えている。
  論文  参考訳（メタデータ） (2020-08-20T13:16:29Z)
• Fully-parallel Convolutional Neural Network Hardware [0.7829352305480285]
  本稿では,ハードウェアにArticial Neural Networks(ANN)を実装するための,新しい電力・面積効率アーキテクチャを提案する。 LENET-5として完全に並列なCNNを1つのFPGAに埋め込んでテストするのが初めてである。
  論文  参考訳（メタデータ） (2020-06-22T17:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。