論文の概要: Can Large Language Models Understand Intermediate Representations in Compilers?

• arxiv url: http://arxiv.org/abs/2502.06854v2
• Date: Thu, 05 Jun 2025 15:48:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 19:24:15.924302
• Title: Can Large Language Models Understand Intermediate Representations in Compilers?
• Title（参考訳）: 大規模言語モデルはコンパイラの中間表現を理解することができるか?
• Authors: Hailong Jiang, Jianfeng Zhu, Yao Wan, Bo Fang, Hongyu Zhang, Ruoming Jin, Qiang Guan,
• Abstract要約: 中間表現(IR)は、コンパイラ設計とプログラム解析において重要な役割を果たす。 我々は6つの最先端の大規模言語モデル(LLM)のIR理解能力を評価する。
• 参考スコア（独自算出の注目度）: 17.033963652676164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Intermediate Representations (IRs) play a critical role in compiler design and program analysis, yet their comprehension by Large Language Models (LLMs) remains underexplored. In this paper, we present an explorative empirical study evaluating the capabilities of six state-of-the-art LLMs: GPT-4, GPT-3, DeepSeek, Gemma 2, Llama 3, and Code Llama, in understanding IRs. Specifically, we assess model performance across four core tasks: control flow graph reconstruction, decompilation, code summarization, and execution reasoning. While LLMs exhibit competence in parsing IR syntax and identifying high-level structures, they consistently struggle with instruction-level reasoning, especially in control flow reasoning, loop handling, and dynamic execution. Common failure modes include misinterpreting branching instructions, omitting critical operations, and relying on heuristic reasoning rather than precise instruction-level logic. Our findings highlight the need for IR-specific enhancements in LLM design. We recommend fine-tuning on structured IR datasets and integrating control-flow-sensitive architectures to improve model effectiveness. All experimental data and source code are publicly available at
• Abstract（参考訳）: 中間表現(IR)はコンパイラ設計やプログラム解析において重要な役割を担っているが、Large Language Models (LLM) による理解は未解明のままである。 本稿では,GPT-4,GPT-3,DeepSeek,Gemma 2,Llama 3,Code Llamaの6つの最先端LCMのIR理解能力について,実験的検討を行った。 具体的には、制御フローグラフ再構成、逆コンパイル、コード要約、実行推論の4つのコアタスクにおけるモデル性能を評価する。 LLMはIR構文を解析し、高いレベルの構造を特定する能力を持っているが、命令レベルの推論、特に制御フロー推論、ループハンドリング、動的実行では一貫して苦労している。 一般的な障害モードには、分岐命令の誤解釈、クリティカルな操作の省略、正確な命令レベルの論理よりもヒューリスティックな推論に依存している。 この結果から,LLM設計におけるIR特異的な拡張の必要性が浮き彫りになった。 我々は、構造化IRデータセットの微調整と、モデルの有効性を改善するために制御フローに敏感なアーキテクチャの統合を推奨する。 実験データとソースコードはすべて公開されています

関連論文リスト

• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• Benchmarking and Understanding Compositional Relational Reasoning of LLMs [1.915591735124465]
  我々はまず、Generalized Associative Recall (GAR)と呼ばれる新しい合成ベンチマークを提案する。 評価は、GARが既存のLLMにとって十分困難であることを示し、CRRの基本的な欠陥を明らかにしている。 次に、属性パッチを用いて、Vicuna-33Bで再利用されたコア回路の様々なタスクと重要な注意点のセットを発見する。
  論文  参考訳（メタデータ） (2024-12-17T12:10:38Z)
• Eliciting Critical Reasoning in Retrieval-Augmented Language Models via Contrastive Explanations [4.697267141773321]
  Retrieval-augmented Generation (RAG) は、よりリッチな現実的コンテキストに体系的にアクセスする大規模言語モデル(LLM)をサポートするために、現代のNLPにおいて重要なメカニズムとして登場した。 近年の研究では、LLMはRAGに基づくインコンテキスト情報(誤った推論や幻覚につながる可能性のある制限)を批判的に分析するのに苦慮していることが示されている。 本稿では,RAGにおける批判的推論を,対照的な説明を通じてどのように引き起こすかを検討する。
  論文  参考訳（メタデータ） (2024-10-30T10:11:53Z)
• Towards Learning Abductive Reasoning using VSA Distributed Representations [56.31867341825068]
  本稿では,文脈認識モデルを用いた帰納的ルール学習手法を提案する。 ARLCは、誘引的推論のための、新しくより広く適用可能な訓練目標を特徴としている。 プログラムされた知識の上に実例から漸進的に学習することで,ARLCのポストプログラミングトレーニングに対する堅牢性を示す。
  論文  参考訳（メタデータ） (2024-06-27T12:05:55Z)
• Self-Retrieval: End-to-End Information Retrieval with One Large Language Model [97.71181484082663]
  本稿では,新たなLLM駆動情報検索アーキテクチャであるSelf-Retrievalを紹介する。 自己検索は、自己教師付き学習を通じて検索コーパスを内部化し、検索プロセスをシーケンシャルな通過生成に変換し、再ランク付けのための関連性評価を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:45:35Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• FAIR: Flow Type-Aware Pre-Training of Compiler Intermediate Representations [36.030609139210426]
  コンパイラ中間表現(IR)のためのフロー型認識事前学習モデルを提案する。 具体的には、FAIRがIRトークンのセマンティクス、フロー型情報、およびIRの全体的な表現を学べるようにすることを提案する。 実験の結果、FAIRは4つのコード関連下流タスクで最先端の結果を得ることができることがわかった。
  論文  参考訳（メタデータ） (2023-09-09T15:51:49Z)
• LMs: Understanding Code Syntax and Semantics for Code Analysis [25.508254718438636]
  我々は,大規模言語モデル(LLM)の機能と,ソフトウェア工学におけるコード解析の限界を評価する。 GPT4, GPT3.5, StarCoder, CodeLlama-13b-インストラクトという,最先端の4つの基礎モデルを採用している。
  論文  参考訳（メタデータ） (2023-05-20T08:43:49Z)
• Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks [121.74957524305283]
  本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。 実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-28T10:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。