論文の概要: An Empirical Study on the Effectiveness of Large Language Models for Binary Code Understanding

• arxiv url: http://arxiv.org/abs/2504.21803v1
• Date: Wed, 30 Apr 2025 17:02:06 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-05-02 15:45:10.718311
• Title: An Empirical Study on the Effectiveness of Large Language Models for Binary Code Understanding
• Title（参考訳）: バイナリコード理解における大規模言語モデルの有効性に関する実証的研究
• Authors: Xiuwei Shang, Zhenkan Fu, Shaoyin Cheng, Guoqiang Chen, Gangyang Li, Li Hu, Weiming Zhang, Nenghai Yu,
• Abstract要約: 本研究では,現実のリバースエンジニアリングシナリオにおけるLarge Language Models(LLM)の有効性を評価するためのベンチマークを提案する。 評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。
• 参考スコア（独自算出の注目度）: 50.17907898478795
• License:
• Abstract: Binary code analysis plays a pivotal role in the field of software security and is widely used in tasks such as software maintenance, malware detection, software vulnerability discovery, patch analysis, etc. However, unlike source code, reverse engineers face significant challenges in understanding binary code due to the lack of intuitive semantic information. Although traditional reverse tools can convert binary code into C-like pseudo code, the lack of code comments and symbolic information such as function names still makes code understanding difficult. In recent years, two groups of techniques have shown promising prospects: (1) Deep learning-based techniques have demonstrated competitive results in tasks related to binary code understanding, furthermore, (2) Large Language Models (LLMs) have been extensively pre-trained at the source-code level for tasks such as code understanding and generation. This has left participants wondering about the capabilities of LLMs in binary code understanding. To this end, this work proposes a benchmark to evaluate the effectiveness of LLMs in real-world reverse engineering scenarios, which covers two key binary code understanding tasks, i.e., function name recovery and binary code summarization. To more comprehensively evaluate, we include binaries with multiple target architectures as well as different optimization options. We gain valuable insights into the capabilities and limitations through extensive empirical studies of popular LLMs using our benchmark. Our evaluations reveal that existing LLMs can understand binary code to a certain extent, thereby improving the efficiency of binary code analysis. Our results highlight the great potential of the LLMs in advancing the field of binary code understanding, and provide new directions for binary code analysis techniques.
• Abstract（参考訳）: バイナリコード分析は、ソフトウェアセキュリティの分野で重要な役割を担い、ソフトウェアのメンテナンス、マルウェア検出、ソフトウェアの脆弱性発見、パッチ解析などのタスクで広く利用されている。 しかし、ソースコードとは異なり、リバースエンジニアは直感的なセマンティック情報がないため、バイナリコードの理解において重大な課題に直面している。 従来のリバースツールはバイナリコードをCライクな擬似コードに変換することができるが、コードコメントの欠如や関数名などの象徴的な情報は、コード理解を難しくしている。 近年, 深層学習に基づく手法は, バイナリコード理解に関わるタスクにおいて, 競合する結果を実証している。さらに, 大規模言語モデル (LLM) は, コード理解や生成などのタスクに対して, ソースコードレベルで広範囲に事前訓練されている。 この結果、参加者はバイナリコード理解におけるLLMの機能について疑問を抱いている。 そこで本研究では,実世界のリバースエンジニアリングシナリオにおけるLLMの有効性を評価するベンチマークを提案する。 より包括的に評価するために、複数のターゲットアーキテクチャを持つバイナリと、異なる最適化オプションを含めます。 我々は,我々のベンチマークを用いて,人気のあるLLMの広範な実験研究を通じて,その能力と限界について貴重な知見を得た。 評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。 本研究は,LLMがバイナリコード理解の分野を前進させる大きな可能性を強調し,バイナリコード解析技術の新たな方向性を提供するものである。

関連論文リスト

• Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs [53.00384299879513]
  大規模言語モデル(LLM)では、コードと推論が互いに強化される。 コードは検証可能な実行パスを提供し、論理的な分解を強制し、実行時の検証を可能にする。 我々は,このシナジーを強化するために,重要な課題を特定し,今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2025-02-26T18:55:42Z)
• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Unsupervised Binary Code Translation with Application to Code Similarity Detection and Vulnerability Discovery [2.022692275087205]
  クロスアーキテクチャのバイナリコード解析が新たな問題となっている。 ディープラーニングベースのバイナリ分析は、有望な成功を収めている。 低リソースのISAでは、十分な量のデータを見つけることは困難である。
  論文  参考訳（メタデータ） (2024-04-29T18:09:28Z)
• How Far Have We Gone in Binary Code Understanding Using Large Language Models [51.527805834378974]
  バイナリコード理解におけるLarge Language Models(LLM)の有効性を評価するためのベンチマークを提案する。 評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-15T14:44:08Z)
• CLAP: Learning Transferable Binary Code Representations with Natural Language Supervision [22.42846252594693]
  本稿では,言語指導を利用してバイナリコードのより良い表現を学習するCLAP(Contrastive Language-Assembly Pre-training)を提案する。 中心となるアプローチは、バイナリコードとセマンティックスの説明を効果的に整合させることで、優れたトランスファー学習能力を向上する。 私たちは1億9500万のバイナリコードと説明を生成し、CLAPのプロトタイプをトレーニングしました。
  論文  参考訳（メタデータ） (2024-02-26T13:49:52Z)
• CP-BCS: Binary Code Summarization Guided by Control Flow Graph and Pseudo Code [79.87518649544405]
  本稿ではCP-BCSと呼ばれる制御フローグラフと擬似コード案内バイナリコード要約フレームワークを提案する。 CP-BCSは双方向の命令レベル制御フローグラフと擬似コードを利用して、専門家の知識を取り入れ、包括的なバイナリ関数の実行動作と論理意味論を学ぶ。
  論文  参考訳（メタデータ） (2023-10-24T14:20:39Z)
• Leveraging Artificial Intelligence on Binary Code Comprehension [5.236023714727536]
  本稿では,バイナリコードの人間の理解を支援する人工知能(AI)モデルを提案する。 具体的には、ソースコードの大規模なコーパス(変数名やコメントなど)からドメイン知識を取り入れて、バイナリコードの一般化可能な表現をキャプチャするAIモデルを構築することを提案する。 最後に、人間による理解の研究を用いて、バイナリコードに適用するモデルの性能を評価するためのメトリクスについて検討する。
  論文  参考訳（メタデータ） (2022-10-11T02:39:29Z)
• Pre-Training Representations of Binary Code Using Contrastive Learning [13.570375923483452]
  ContraBinは、ソースコードとコメント情報をバイナリと統合する、対照的な学習テクニックである。 我々は、人書きと合成コメントがバイナリコード理解タスクに与える影響を分析する。
  論文  参考訳（メタデータ） (2022-10-11T02:39:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。