論文の概要: ASMA-Tune: Unlocking LLMs' Assembly Code Comprehension via Structural-Semantic Instruction Tuning

• arxiv url: http://arxiv.org/abs/2503.11617v2
• Date: Thu, 22 May 2025 09:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:22.019806
• Title: ASMA-Tune: Unlocking LLMs' Assembly Code Comprehension via Structural-Semantic Instruction Tuning
• Title（参考訳）: ASMA-Tune:構造・意味的命令チューニングによるLCMのアセンブリコード理解のアンロック
• Authors: Xinyi Wang, Jiashui Wang, Jinbo Su, Ke Wang, Peng Chen, Yanming Liu, Long Liu, Xiang Li, Yangdong Wang, Qiyuan Chen, Rongze Chen, Chunfu Jia,
• Abstract要約: アセンブリコード分析と理解は、リバースエンジニアリングのようなアプリケーションにおいて重要な役割を果たす。 従来のマスク付き言語モデリングアプローチは、自然言語の相互作用に明示的に焦点を合わせていない。 本稿では、エンドツーエンドな構造意味的命令チューニングフレームワークであるアセンブリ・チューニングについて述べる。
• 参考スコア（独自算出の注目度）: 33.53059396922164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Assembly code analysis and comprehension play critical roles in applications like reverse engineering, yet they face substantial challenges due to low information density and a lack of explicit syntactic structures. While traditional masked language modeling (MLM) approaches do not explicitly focus on natural language interaction, emerging decoder-focused large language models (LLMs) demonstrate partial success in binary analysis yet remain underexplored for holistic comprehension. We present Assembly Augmented Tuning, an end-to-end structural-semantic instruction tuning framework that synergizes encoder architecture with decoder-based LLMs through a projector module, where the assembly encoder extracts hardware-level structural features, the projector bridges representations with the semantic space, and the instruction-tuned LLM preserves natural language capabilities. Experimental results demonstrate three key advantages: (1) State-of-the-art performance in assembly comprehension with +39.7% Recall@1 and +17.8% MRR improvements over GPT-4-Turbo, (2) Consistent enhancements across base models (24.6-107.4% Recall@1 and 15.2-106.3% MRR on Qwen2.5-Coder, Deepseek-Coder and CodeLlama variants), and (3) Superior instruction-following capabilities (41.5%-118% improvements) with controlled code generation degradation (-8.9% to -35% across architectures).
• Abstract（参考訳）: アセンブリコード分析と理解はリバースエンジニアリングのようなアプリケーションにおいて重要な役割を担いますが、情報密度の低さと明示的な構文構造が欠如しているため、大きな課題に直面します。 従来のマスメッド言語モデリング(MLM)アプローチは、自然言語の相互作用に明示的に焦点をあてるものではないが、新たなデコーダ中心の大規模言語モデル(LLM)はバイナリ解析で部分的に成功しているが、全体的な理解には未熟なままである。 本稿では,プロジェクタモジュールを通じて,エンコーダアーキテクチャとデコーダベースのLCMを相乗化して,ハードウェアレベルの構造的特徴を抽出し,プロジェクタがセマンティック空間で表現をブリッジし,命令チューニングLDMが自然言語機能を保存する,エンドツーエンドの構造化意味的チューニングフレームワークであるAugmented Tuningを提案する。 実験結果は、(1) GPT-4-Turboよりも39.7%のRecall@1と+17.8%のMRRの改善、(2) Qwen2.5-Coder、Deepseek-Coder、CodeLlamaのMRRのベースモデル(24.6-107.4%のRecall@1と15.2-106.3%のMRR)、(3) 制御コード生成の劣化(8.9%から35%のアーキテクチャ)によるスーパー命令追従機能(41.5%から118%の改善)の3つの主要な利点を示している。

関連論文リスト

• SAFT: Structure-Aware Fine-Tuning of LLMs for AMR-to-Text Generation [50.277959544420455]
  SAFTは、事前訓練された言語モデルにグラフトポロジーを注入する構造対応の微調整手法である。 変換されたAMRの磁気ラプラシアンから方向感応的な位置エンコーディングを計算する。 SAFTはAMR 3.0に新しい最先端を設定、ベースラインを3.5BLEU改善した。
  論文  参考訳（メタデータ） (2025-07-15T18:12:57Z)
• Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
  本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。 TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。 我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
  論文  参考訳（メタデータ） (2025-07-10T07:34:05Z)
• QwenLong-CPRS: Towards $\infty$-LLMs with Dynamic Context Optimization [70.3105638352827]
  QwenLong-CPRSはコンテキスト圧縮フレームワークであり、明示的な長文最適化のために設計されている。 QwenLong-CPRSは21.59$times$コンテキスト圧縮と19.15ポイントの平均パフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2025-05-23T16:47:00Z)
• Improving Assembly Code Performance with Large Language Models via Reinforcement Learning [9.20863636863631]
  大規模言語モデル(LLM)は、幅広いプログラミングタスクにおいて強力なパフォーマンスを示している。 本稿では,PPO(Proximal Policy Optimization)を用いたLLM学習のための強化学習フレームワークを提案する。 我々のモデルであるQwen2.5-Coder-7B-PPOは96.4%のテストパス率を獲得し、gcc-O3ベースライン上での平均速度は1.47倍である。
  論文  参考訳（メタデータ） (2025-05-16T17:40:45Z)
• ComplexVCoder: An LLM-Driven Framework for Systematic Generation of Complex Verilog Code [9.68747119462712]
  本稿では,複雑なVerilogコードの生成品質と効率を向上させるオープンソースフレームワークであるComplexVCoderを提案する。 具体的には、中間表現を利用した2段階生成機構を導入し、より構造化された自然言語記述から複雑なVerilog設計への遷移を可能にする。 さらに、ルールベースのアライメント手法とドメイン固有検索拡張生成(RAG)を導入し、合成コードの正確性をさらに向上する。
  論文  参考訳（メタデータ） (2025-04-29T11:22:06Z)
• The Code Barrier: What LLMs Actually Understand? [7.407441962359689]
  本研究では,言語モデルの意味理解能力を評価するために,コード難読化を構造化テストフレームワークとして利用する。 難読化の複雑さが増加するにつれて、統計的に顕著な性能低下が見られる。 本研究では,言語モデルにおけるコード理解を評価するための新しい評価手法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T14:11:26Z)
• OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs [62.68905180014956]
  我々は,500万の多様なサンプルからなる最大オープンアクセス命令チューニングデータセットであるOpenCodeInstructを紹介した。 各サンプルには、プログラミング質問、ソリューション、テストケース、実行フィードバック、LLM生成の品質評価が含まれている。 LLaMAやQwenなど,さまざまなベースモデルを,データセットを使用して複数のスケール(1B+,3B+,7B+)にわたって微調整します。
  論文  参考訳（メタデータ） (2025-04-05T02:52:16Z)
• Post-Incorporating Code Structural Knowledge into LLMs via In-Context Learning for Code Translation [10.77747590700758]
  大規模言語モデル(LLM)はソフトウェアマイニングにおいて大きな進歩を遂げた。 ソースコードの構文構造を扱うことは 依然として課題です 本稿では、コード構造知識を事前学習したLLMに組み込むために、インコンテキスト学習(ICL)を用いる。
  論文  参考訳（メタデータ） (2025-03-28T10:59:42Z)
• Quantizing Large Language Models for Code Generation: A Differentiated Replication [51.85505914274633]
  大規模言語モデル(LLM)は、コード生成において印象的な能力を示しており、特に自然言語で記述された要求を自動的に実装する。 LLMはメモリ(そして結果として炭素)のフットプリントに重大な課題をもたらす。 LLM量子化の新しいフロンティアは4ビット精度であり、平均メモリフットプリントが70%減少する。
  論文  参考訳（メタデータ） (2025-03-10T09:26:08Z)
• Trim My View: An LLM-Based Code Query System for Module Retrieval in Robotic Firmware [7.308605205194037]
  本稿では, 2次分解法, 除算法, LLM による関数要約の組み合わせが, 経済的なエンジン構築にどのように役立つかを示す。 我々は,この手法を3つの基盤となるオープンソースLLMを用いてインスタンス化し,ロボットファームウェアのモジュール識別の有効性を測定した。
  論文  参考訳（メタデータ） (2025-03-05T23:40:17Z)
• EquiBench: Benchmarking Large Language Models' Understanding of Program Semantics via Equivalence Checking [55.81461218284736]
  EquiBenchは、大規模言語モデル(LLM)を評価するための新しいベンチマークである。 2つのプログラムが全ての可能な入力に対して同一の出力を生成するかどうかを決定する。 19の最先端LCMを評価し、最高の精度は63.8%と76.2%であり、これは50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Large Language Models as Code Executors: An Exploratory Study [29.545321608864295]
  本稿では,Large Language Models (LLM) をコードエグゼキュータとして探索する。 OpenAIのo1、GPT-4o、GPT-3.5、DeepSeek、Qwen-Coderなど、さまざまなLLMでこの実現可能性を調べています。 我々は,コードスニペットを行単位で処理し,弱いモデルの精度を平均7.22%向上させるIIP(Iterative Instruction Prompting)技術を導入する。
  論文  参考訳（メタデータ） (2024-10-09T08:23:22Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation [22.219645213202178]
  本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。 本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-10-16T05:09:58Z)
• CodeChain: Towards Modular Code Generation Through Chain of Self-revisions with Representative Sub-modules [51.82044734879657]
  我々は,自己修正の連鎖を通じてモジュール化されたコード生成を誘発する,新しい推論フレームワークであるCodeChainを提案する。 CodeChainは、生成したソリューションのモジュール性と正確性の両方を大幅に向上させ、APPSで35%、CodeContestsで76%の相対パス@1の改善を実現しています。
  論文  参考訳（メタデータ） (2023-10-13T10:17:48Z)
• Fixing Large Language Models' Specification Misunderstanding for Better Code Generation [13.494822086550604]
  muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。 まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。 muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
  論文  参考訳（メタデータ） (2023-09-28T02:58:07Z)
• Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
  学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。 確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。 Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
  論文  参考訳（メタデータ） (2023-09-25T15:42:18Z)
• LMs: Understanding Code Syntax and Semantics for Code Analysis [25.508254718438636]
  我々は,大規模言語モデル(LLM)の機能と,ソフトウェア工学におけるコード解析の限界を評価する。 GPT4, GPT3.5, StarCoder, CodeLlama-13b-インストラクトという,最先端の4つの基礎モデルを採用している。
  論文  参考訳（メタデータ） (2023-05-20T08:43:49Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)
• Learning Label Modular Prompts for Text Classification in the Wild [56.66187728534808]
  そこで本研究では,非定常学習/テスト段階の異なるテキスト分類手法を提案する。 複雑なタスクをモジュラー成分に分解することで、そのような非定常環境下での堅牢な一般化が可能になる。 テキスト分類タスクのためのラベルモジュール型プロンプトチューニングフレームワークMODcularPROMPTを提案する。
  論文  参考訳（メタデータ） (2022-11-30T16:26:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。