論文の概要: LLM-Based Embeddings for Program Analysis and Optimization

• arxiv url: http://arxiv.org/abs/2608.07894v1
• Date: Sat, 08 Aug 2026 03:41:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.552692
• Title: LLM-Based Embeddings for Program Analysis and Optimization
• Title（参考訳）: プログラム解析と最適化のためのLCMベースの埋め込み
• Abstract要約: 本稿では,Large Language Models (LLMs) によるプログラム埋め込みの最初の応用について述べる。 簡単なアプローチで、ソースコードとIRコードから直接プログラム埋め込みを生成する。 実験により、ソースとIRコードの埋め込みを組み合わせることで、アルゴリズムの分類において1.54%のエラー率が得られることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances have highlighted the potential of machine learning, particularly Large Language Models (LLMs), for analyzing and optimizing programs. We present the first application of program embeddings from LLMCompiler---an LLM massively pretrained on intermediate representation (IR) code---to representative program analysis and optimization tasks. We generate program embeddings directly from source and IR code using a simple approach: split programs into chunks, independently embed each chunk with pretrained LLMs, and then aggregate the chunk embeddings into a single program embedding. Our experiments show that combining source and IR code embeddings achieves an error rate of 1.54\% in algorithm classification, a 12\% improvement over the current state-of-the-art, and a competitive accuracy on heterogeneous device mapping. These findings suggest that training a performance-aware LLM for embedding IR code might yield state-of-the-art results in code optimization tasks.
• Abstract（参考訳）: 近年の進歩は、機械学習、特に大規模言語モデル(LLM)のプログラムの分析と最適化の可能性を強調している。 LLMCompilerのプログラム埋め込みの最初の応用として、中間表現(IR)コードで大規模に事前訓練されたLCMを代表的プログラム解析と最適化タスクに応用する。 プログラムをチャンクに分割し,各チャンクを事前学習したLCMに個別に埋め込み,そのチャンクを単一のプログラム埋め込みに集約する。 実験の結果, ソースとIRコードの埋め込みは, アルゴリズム分類における誤差率 1.54 %, 現在の最先端技術よりも 12 % 向上し, 異種デバイスマッピングにおける競合精度が向上した。 これらの結果から,IR コード埋め込みのための性能認識 LLM のトレーニングは,コード最適化タスクにおいて最先端の結果をもたらす可能性が示唆された。

関連論文リスト

• LLM4RTL: Tool-Assisted LLM for RTL Generation [5.338291061810534]
  大規模言語モデル(LLM)は、ソフトウェア工学、コード生成、ツール、システムにおいて、目覚ましい進歩を後押ししてきた。 本稿では,現状の商用LCMモデルの階層構造を用いて,現在の公開データセットを更新する,審査更新更新チェック'パイプラインを提案する。 我々の実験はルールベースの推論と論理学におけるLCMのいくつかの共通弱点を同定し、その結果、RTL符号生成におけるLLMの弱点を明らかにした。
  論文  参考訳（メタデータ） (2026-06-13T23:10:40Z)
• SVD Contextual Sparsity Predictors for Fast LLM Inference [0.0]
  本稿では,大規模言語モデル(LLM)におけるReGLUベースのフィードフォワードネットワーク(FFN)の推論を高速化するためのフレームワークを提案する。 実験では、複雑な数学やコード生成を含むタスクにおけるベンチマークスコアの1%未満の劣化を維持しながら、エンドツーエンドのデコーディング時間を1.8倍に削減した。
  論文  参考訳（メタデータ） (2026-03-14T20:36:13Z)
• Programming by Backprop: LLMs Acquire Reusable Algorithmic Abstractions During Code Training [2.743215038883958]
  ソースコード上での大規模言語モデル(LLM)のトレーニングは、その汎用推論能力を大幅に向上させる。 この効果の潜在的要因として,バックプロップ(PBB)によるプログラミングを提案する。 PBBは、自然発生したデータを反映した分布から引き出されたI/Oペアのトレーニングよりも、入力間でのプログラムの堅牢な評価につながることを示す。
  論文  参考訳（メタデータ） (2025-06-23T15:45:44Z)
• Autellix: An Efficient Serving Engine for LLM Agents as General Programs [59.673243129044465]
  大規模言語モデル(LLM)アプリケーションは、単純なチャットボットを超えて、動的で汎用的なエージェントプログラムへと進化している。 既存のLLMサービスシステムは、プログラムと呼び出し間の依存関係を無視し、最適化のための大きな機会を欠いている。 プログラムを第一級市民として扱い、エンドツーエンドのレイテンシを最小限に抑えるLLMサービスシステムであるAutellixを紹介する。
  論文  参考訳（メタデータ） (2025-02-19T18:59:30Z)
• SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors [7.210032327838313]
  大規模言語モデル(LLM)がコード実行予測の代理モデルとして機能するかどうかを検討する。 オープンソースおよびプロプライエタリ LLM の広範な分析を通じて,スケーリング法則,データ効率,予測精度について検討する。 計算機処理における効率的なサロゲートとしてのLCMの実現可能性に関する重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2025-02-16T15:38:19Z)
• LLM Program Optimization via Retrieval Augmented Search [71.40092732256252]
  提案手法は,提案手法によって最適化されたビーム探索を行う検索アルゴリズムであるRetrieval Augmented Search (RAS) である。 我々は、RASが従来の最先端のブラックボックス適応戦略よりも1.8$times$パフォーマンスが高いことを示す。 また、トレーニング例を「アトミックな編集」に分解することで、解釈可能性を向上させるAEGISと呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2025-01-31T06:34:47Z)
• Scaffolded Language Models with Language Supervision for Mixed-Autonomy: A Survey [52.00674453604779]
  本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。 本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• Better Instruction-Following Through Minimum Bayes Risk [48.879360919760074]
  人間レベルの評価が可能な汎用LLM審査員は、命令追従LLMを評価するスケーラブルで正確な方法を提供する。 LLM判事を監督に活用する有望な方法の1つは、最小ベイズリスク(MBR)デコーディングである。 MBRデコードでは、基準ベースの評価器を使用して、候補出力のセットの中から高品質な出力を選択する。
  論文  参考訳（メタデータ） (2024-10-03T18:48:38Z)
• CoMMIT: Coordinated Multimodal Instruction Tuning [90.1532838391285]
  マルチモーダル大言語モデル(MLLM)は一般に、バックボーンLLMと非テキスト入力モードの特徴エンコーダ間の協調学習を含む。 本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 本稿では,学習のバランスを定量的に測定できるマルチモーダルバランス係数を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Designing Algorithms Empowered by Language Models: An Analytical Framework, Case Studies, and Insights [86.06371692309972]
  本研究では,大規模言語モデル(LLM)に基づくアルゴリズムの設計と解析のための分析フレームワークを提案する。 提案する枠組みは頭痛を緩和する試みとして機能する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• MIREncoder: Multi-modal IR-based Pretrained Embeddings for Performance Optimizations [6.919817502555546]
  本稿では,Multi-modal IRベースのオートエンコーダであるMIREncoderを提案する。 マルチモーダルなアプローチにより、コンパイル可能なプログラムからより優れた特徴を抽出できる。 評価の結果,提案手法はオーバヘッドを低減しつつ,技術状況より優れることが示された。
  論文  参考訳（メタデータ） (2024-07-02T13:00:19Z)
• Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond [24.151927600694066]
  コミットメッセージ生成(CMG)アプローチは、与えられたコード差分に基づいてコミットメッセージを自動的に生成することを目的としている。 本稿では,Large Language Models (LLMs) を用いて高品質なコミットメッセージの生成にどの程度の期間を費やしてきたかを調べるための,最初の包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-23T08:24:43Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)
• Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
  そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。 自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。 提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
  論文  参考訳（メタデータ） (2022-05-28T03:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。