論文の概要: REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming

• arxiv url: http://arxiv.org/abs/2607.07738v1
• Date: Tue, 07 Jul 2026 23:17:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.282357
• Title: REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming
• Title（参考訳）: REFORGE:再コンパイルされたバイナリ関数のネーミングにおけるLLMのリバースエンジニアリング能力のベンチマーク方法
• Abstract要約: 大規模な言語モデル(LLM)は、リバースエンジニアリングタスクにますます適用されている。 しかし、彼らの能力に関する主張は、それを測定する能力よりも優れている。 本稿では,関数レベル基底真理をCソースから構築する証明追跡パイプラインであるReforgeを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly applied to reverse-engineering tasks, and recent threat-intelligence reporting shows them operating inside live offensive-security workflows. Claims about their capability, however, outpace our ability to measure it. Existing benchmarks for LLM-assisted binary analysis treat the construction of function-level ground truth as a solved pre-processing step and report accuracy without disclosing how many functions were reliably evaluable. We argue that the principal obstacle to fair evaluation is not model capability but the reliability of binary-to-source alignment under compiler optimization. This paper presents Reforge, a provenance-tracked pipeline that constructs function-level ground truth from C source through compilation, DWARF and syntactic extraction, alignment, and decompilation, and that operationalizes alignment uncertainty as an eight-gate confidence funnel with three-tier stratification. On a controlled micro-benchmark, high-confidence yield falls from 87.2% to 65.9% across optimization levels, and unpaired comparisons overstate optimization-induced performance decay through survivorship bias. A proof-of-concept evaluation of seven contemporary LLMs on function naming demonstrates the substrate and motivates uncertainty-aware benchmarking practice
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、リバースエンジニアリングタスクにますます適用され、最近の脅威知能レポートは、ライブの攻撃的セキュリティワークフロー内で動作していることを示している。 しかし、彼らの能力に関する主張は、それを測定する能力よりも優れている。 LLM支援バイナリ分析のための既存のベンチマークでは、関数レベル基底真理の構成を解決された前処理ステップとして扱い、どれだけの関数が確実に評価可能であったかを開示することなく、精度を報告している。 公正評価の主な障害は、モデル能力ではなく、コンパイラ最適化の下でのバイナリ-ソースアライメントの信頼性である。 本稿では,コンピレーション,DWARF,統語抽出,アライメント,デコンパイルを通じて,関数レベル基底真理をCソースから構築し,アライメントの不確実性を3階層の階層化を伴う8ゲート信頼ファンネルとして運用する,プロファイランス追跡パイプラインであるReforgeを提案する。 制御されたマイクロベンチマークでは、高い信頼度は最適化レベルを通して87.2%から65.9%に低下し、残余バイアスによるオーバーステート最適化によって引き起こされるパフォーマンス劣化を未然に比較する。 機能命名における7つの現代LLMの概念実証評価は、基質を示し、不確実性を考慮したベンチマークの実践を動機づける

関連論文リスト

• Introspective Uncertainty Estimation for LLM-Based Code Generation [0.0]
  この論文は、コード生成タスクの応答レベルとラインレベルにおいて、イントロスペクティブ不確実性推定が確実に正しさを示すことができるかどうかを考察する。 目的は、隠れ状態が機能的コード正当性に関する情報をエンコードする範囲と、実際的なリスク評価や障害のローカライゼーションにどのように活用できるかを判断することである。
  論文  参考訳（メタデータ） (2026-09-12T14:43:07Z)
• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• Latent Performance Profiling of Large Language Models [47.009623327601226]
  隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。 静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。 類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
  論文  参考訳（メタデータ） (2026-05-28T14:41:26Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
  LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。 我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
  論文  参考訳（メタデータ） (2026-01-30T08:29:01Z)
• From Brute Force to Semantic Insight: Performance-Guided Data Transformation Design with LLMs [48.83701310501069]
  大規模言語モデル(LLM)は、コード合成において顕著な性能を達成した。 本稿では,LLMが最適変換を自律的に設計できる性能対応クローズドループソリューションを提案する。 6,000以上のPyTorch拡張関数を実験的に評価した新しいリポジトリ上で,低ランク適応型LPMを微調整する。
  論文  参考訳（メタデータ） (2026-01-07T11:13:02Z)
• Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
  DSPy+HELMフレームワークを提案する。 構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。 これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
  論文  参考訳（メタデータ） (2025-11-25T20:37:59Z)
• Dynamic Stability of LLM-Generated Code [6.120340803716395]
  コード生成のためのLLMの現在の評価は、関数的に正しい解がアルゴリズムの複雑さにおいて著しく異なるという事実を見落としている。 本稿では,生成コードの動的安定性を評価するためのフレームワークを提案する。 コード生成における安定性を意識した目標と、堅牢で現実的な評価のためのテストケースを備えた新しいベンチマークが求められた。
  論文  参考訳（メタデータ） (2025-11-07T09:58:06Z)
• EVALOOOP: A Self-Consistency-Centered Framework for Assessing Large Language Model Robustness in Programming [8.52533297070733]
  EVALOOOPは自己整合性の観点から堅牢性を評価するアセスメントフレームワークである。 MBPP Plusベンチマークで96の人気のある大言語モデル(LLM)を評価した。 EVALOOOPは10ループでパス@1の精度を2.65%-47.62%低下させる。
  論文  参考訳（メタデータ） (2025-05-18T01:02:33Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。