論文の概要: ASMA-Tune: Unlocking LLMs' Assembly Code Comprehension via Structural-Semantic Instruction Tuning

• arxiv url: http://arxiv.org/abs/2503.11617v1
• Date: Fri, 14 Mar 2025 17:36:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:04:55.613035
• Title: ASMA-Tune: Unlocking LLMs' Assembly Code Comprehension via Structural-Semantic Instruction Tuning
• Title（参考訳）: ASMA-Tune:構造・意味的命令チューニングによるLCMのアセンブリコード理解のアンロック
• Authors: Xinyi Wang, Jiashui Wang, Peng Chen, Jinbo Su, Yanming Liu, Long Liu, Yangdong Wang, Qiyuan Chen, Kai Yun, Chunfu Jia,
• Abstract要約: Assembly Augmented Tuning (ASMA-Tune) は、エンドツーエンドの構造意味的な命令チューニングフレームワークである。 提案手法は,プロジェクタモジュールを通じて,デコーダベースのLLMとエンコーダアーキテクチャを相乗化することにより,包括的なコード理解を実現する。
• 参考スコア（独自算出の注目度）: 30.433542630784956
• License:
• Abstract: Analysis and comprehension of assembly code are crucial in various applications, such as reverse engineering. However, the low information density and lack of explicit syntactic structures in assembly code pose significant challenges. Pioneering approaches with masked language modeling (MLM)-based methods have been limited by facilitating natural language interaction. While recent methods based on decoder-focused large language models (LLMs) have significantly enhanced semantic representation, they still struggle to capture the nuanced and sparse semantics in assembly code. In this paper, we propose Assembly Augmented Tuning (ASMA-Tune), an end-to-end structural-semantic instruction-tuning framework. Our approach synergizes encoder architectures with decoder-based LLMs through projector modules to enable comprehensive code understanding. Experiments show that ASMA-Tune outperforms existing benchmarks, significantly enhancing assembly code comprehension and instruction-following abilities. Our model and dataset are public at https://github.com/wxy3596/ASMA-Tune.
• Abstract（参考訳）: アセンブリコードの解析と理解は、リバースエンジニアリングなど、さまざまなアプリケーションにおいて不可欠である。 しかし、アセンブリコードの低情報密度と明示的な構文構造が欠如していることは大きな課題である。 マスキング言語モデリング(MLM)に基づくピアネリング手法は、自然言語の相互作用を容易にすることで制限されている。 デコーダにフォーカスした大規模言語モデル(LLM)に基づく最近の手法では意味表現が大幅に強化されているが、アセンブリコードのニュアンスやスパースなセマンティクスの獲得に苦慮している。 本稿では,アセンブル・アグリゲード・チューニング(ASMA-Tune)を提案する。 提案手法は,プロジェクタモジュールを通じてデコーダベースのLLMとエンコーダアーキテクチャを相乗化することにより,包括的なコード理解を実現する。 実験によると、ASMA-Tuneは既存のベンチマークより優れており、アセンブリコードの理解と命令追従能力を大幅に向上している。 私たちのモデルとデータセットはhttps://github.com/wxy3596/ASMA-Tune.comで公開されています。

関連論文リスト

• Synthetic Programming Elicitation for Text-to-Code in Very Low-Resource Programming and Formal Languages [21.18996339478024]
  SPEAC(emphsynthetic programming elicitation and compilation)を紹介する。 SPEACは、より頻繁に、意味的正しさを犠牲にすることなく、構文的に正しいプログラムを生成する。 UCLID5形式検証言語のケーススタディにおいて,SPEACの性能を実証的に評価した。
  論文  参考訳（メタデータ） (2024-06-05T22:16:19Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Nova: Generative Language Models for Assembly Code with Hierarchical Attention and Contrastive Learning [18.521914733617482]
  本研究は,セマンティクスをより効果的に捉えるために,注目要約を構築する階層的注意機構を提案する。 これらの技法を取り入れたこの研究は、アセンブリコードのためのジェネレーティブLLMであるNovaを開発した。 Novaは、バイナリコードの逆コンパイルに関する既存のテクニックを14.84 -- 21.58%(絶対パーセンテージポイントの改善)より高いPass@1とPass@10で上回り、最新のバイナリコード類似性検出テクニックを最大6.17%のRecall@1で上回ります。
  論文  参考訳（メタデータ） (2023-11-22T22:27:54Z)
• Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation [22.219645213202178]
  本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。 本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-10-16T05:09:58Z)
• CodeChain: Towards Modular Code Generation Through Chain of Self-revisions with Representative Sub-modules [51.82044734879657]
  我々は,自己修正の連鎖を通じてモジュール化されたコード生成を誘発する,新しい推論フレームワークであるCodeChainを提案する。 CodeChainは、生成したソリューションのモジュール性と正確性の両方を大幅に向上させ、APPSで35%、CodeContestsで76%の相対パス@1の改善を実現しています。
  論文  参考訳（メタデータ） (2023-10-13T10:17:48Z)
• Fixing Large Language Models' Specification Misunderstanding for Better Code Generation [13.494822086550604]
  muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。 まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。 muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
  論文  参考訳（メタデータ） (2023-09-28T02:58:07Z)
• Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
  学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。 確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。 Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
  論文  参考訳（メタデータ） (2023-09-25T15:42:18Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)
• Learning Label Modular Prompts for Text Classification in the Wild [56.66187728534808]
  そこで本研究では,非定常学習/テスト段階の異なるテキスト分類手法を提案する。 複雑なタスクをモジュラー成分に分解することで、そのような非定常環境下での堅牢な一般化が可能になる。 テキスト分類タスクのためのラベルモジュール型プロンプトチューニングフレームワークMODcularPROMPTを提案する。
  論文  参考訳（メタデータ） (2022-11-30T16:26:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。