論文の概要: ICALL-BENCH: Benchmarking LLM Interprocedural Reasoning in Binary Programs
- arxiv url: http://arxiv.org/abs/2610.37871v1
- Date: Tue, 27 Oct 2026 19:15:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 19:22:33.835103
- Title: ICALL-BENCH: Benchmarking LLM Interprocedural Reasoning in Binary Programs
- Title（参考訳）: ICALL-BENCH:バイナリプログラムにおけるLLM相互推論のベンチマーク
- Abstract要約: 我々は、LLMとエージェントがバイナリプログラムの相互意味論を理解し、推論できるかどうかを直接評価するベンチマークであるICALL-BENCHを紹介する。
ICALL-BENCHは50の現実世界のC/C++プログラムをカバーしている。
モデル専用推論,静的ツール拡張エージェント,インターネット対応オープンワールドエージェントにまたがる3つの分析体制を導入し,それぞれが相互言語間のバイナリ分析にどのように寄与するかを,本質的推論,アクティブ情報取得,外部知識を用いて検討する。
- 参考スコア（独自算出の注目度）: 13.675807662569925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent benchmarks show that LLMs achieve strong performance in both function-level binary understanding and end-to-end binary reverse engineering tasks, but whether LLMs can reason over interprocedural semantics in compiled binaries remains unclear. Function-level benchmarks offer limited visibility into cross-function relationships, while whole-program benchmarks typically evaluate final outcomes of tasks that may be solvable from local clues alone, making it difficult to disentangle interprocedural reasoning from exploration, tool use, execution, and retrieval. To address this limitation, we introduce ICALL-BENCH, a benchmark that directly evaluates whether LLMs and agents can understand and reason over interprocedural semantics in binary programs, using indirect-call target recovery as a measurable probe. ICALL-BENCH covers 50 complete real-world C/C++ programs spanning different complexity levels and multiple optimization configurations, with an average of 74,746 lines of code and 941 functions per program. We further introduce three analysis regimes spanning model-only reasoning, static tool-augmented agents, and Internet-enabled open-world agents to examine how intrinsic reasoning, active information acquisition, and external knowledge each contribute to interprocedural binary analysis. We evaluate five recent LLMs and their corresponding agents. Our results reveal a wide separation across current models and agents, with program-level verifiable success rates ranging from 23% to 81%. They also show that greater information access does not consistently lead to better results, with particularly limited gains on the hardest cases, where deeper interprocedural reasoning remains the primary bottleneck. Uneven performance across models and frequent verifiable failures even under an optimistic evaluation indicate that robust binary interprocedural reasoning remains an open challenge.
- Abstract（参考訳）: 最近のベンチマークでは、LLMは関数レベルのバイナリ理解とエンドツーエンドのバイナリリバースエンジニアリングの両方で高い性能を発揮するが、LLMがコンパイルされたバイナリの相互意味論を推論できるかどうかは不明だ。
関数レベルのベンチマークはクロスファンクショナルな関係を限定的に可視化するが、全体的なベンチマークは通常、局所的な手がかりだけで解決可能なタスクの最終結果を評価する。
この制限に対処するために、間接呼出ターゲットリカバリを測定可能なプローブとして使用して、LLMとエージェントがバイナリプログラムの相互意味論を理解・推論できるかどうかを直接評価するベンチマークであるICALL-BENCHを導入する。
ICALL-BENCHは、複雑さレベルと複数の最適化構成にまたがる50の完全な現実世界のC/C++プログラムをカバーしており、平均74,746行のコードと941の関数がある。
さらに、モデルのみの推論、静的ツール拡張エージェント、インターネット対応オープンワールドエージェントにまたがる3つの分析体制を導入し、それぞれが固有の推論、アクティブ情報取得、外部知識が相互言語間のバイナリ分析にどのように貢献するかを検討する。
近年の5種類のLSMとその対応剤について検討した。
その結果,プログラムレベルの検証成功率は23%から81%であった。
また、より深い情報アクセスが常により良い結果をもたらすわけではないことを示し、特に最も難しいケースでは、より深い相互論理的推論が主要なボトルネックである。
楽観的な評価の下でも、モデル間の不均一な性能と頻繁な検証可能な失敗は、堅牢なバイナリ言語間推論がオープンな課題であることを示している。
関連論文リスト
- The Imitation Game: When LLMs Learn to Reason Like Programs via Code-Centric Reasoning Data Synthesis [50.473217152006875]
MIMICは、データ合成を推論するための厳密な媒体として実行可能なコードを活用するフレームワークである。
MIMICは、ナラティブ融合、コード誘導テスト合成、動的コードインスツルメンテーションを通じて、アルゴリズムを検証可能な推論軌道に変換する。
提案手法は, 一般的な推論, 複雑な数学的ベンチマーク, きめ細かい決定論的タスクにおいて, 精度を著しく向上させる。
論文 参考訳（メタデータ） (2026-09-13T17:04:16Z) - RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。
出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。
Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
論文 参考訳（メタデータ） (2026-07-28T17:12:41Z) - REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming [0.0]
大規模な言語モデル(LLM)は、リバースエンジニアリングタスクにますます適用されている。
しかし、彼らの能力に関する主張は、それを測定する能力よりも優れている。
本稿では,関数レベル基底真理をCソースから構築する証明追跡パイプラインであるReforgeを提案する。
論文 参考訳（メタデータ） (2026-07-07T23:17:03Z) - REBENCH: A Procedural, Fair-by-Construction Benchmark for LLMs on Stripped-Binary Types and Names (Extended Version) [32.69257865315466]
大規模言語モデル(LLM)は近年顕著な進歩を遂げ、幅広い領域で採用されている。
リバースエンジニアリングでは、LLMは関数や変数名リカバリ、型推論といった重要なタスクにますます適用されています。
既存の研究は、異なるデータセット、前処理パイプライン、評価メトリクスに依存している。
バイナリリバースエンジニアリングタスク上でLLMを評価するための総合ベンチマークデータセットであるREBenchを提案する。
論文 参考訳（メタデータ） (2026-04-30T02:03:37Z) - Feedback-Driven Execution for LLM-Based Binary Analysis [6.612857121548629]
本稿では,LLMに基づく解析をフィードバック駆動実行プロセスとして再考するシステムFOGEを提案する。
FORGEは推論-動作-観測ループを介して推論とツール相互作用をインターリーブする。
実世界3,457のファームウェアバイナリ上でFOGEを評価した。
論文 参考訳（メタデータ） (2026-04-16T15:15:58Z) - LLMs taking shortcuts in test generation: A study with SAP HANA and LevelDB [0.22940141855172033]
大規模言語モデル(LLM)は、しばしば高度な推論の主張につながる、公開ベンチマークで印象的な結果を得た。
本稿では,ソフトウェアメモリ化のための自動テスト生成の動作を,オープンソースシステムの性能と対比して検討する。
結果は、LLMはよく知られたオープンソースのベンチマークに優れているが、目立たない複雑で、多くの場合、有効性よりもコンパイル可能性に優先順位をつけるのに苦労していることを示している。
論文 参考訳（メタデータ） (2026-04-15T21:30:02Z) - OPT-Engine: Benchmarking the Limits of LLMs in Optimization Modeling via Complexity Scaling [13.57588221678224]
大規模言語モデル(LLM)は、最適化モデリングの驚くべき進歩を示している。
自動定式化と問題解決におけるそれらの能力の境界は、まだよく理解されていない。
OPT-ENGINEは、制御可能でスケーラブルな難易度を持つ最適化モデルにおいて、LCMを評価するために設計されたベンチマークフレームワークである。
論文 参考訳（メタデータ） (2026-01-09T09:22:33Z) - LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering [90.84806758077536]
textbfLoCoBench-Agentは,大規模言語モデル(LLM)エージェントを現実的,長期的ソフトウェア工学で評価するための総合的な評価フレームワークである。
我々のフレームワークは、LoCoBenchの8000のシナリオを対話型エージェント環境に拡張し、マルチターン会話の体系的評価を可能にする。
我々のフレームワークは,8つの特殊なツール(ファイル操作,検索,コード解析)をエージェントに提供し,それを10Kから1Mトークンの範囲で評価する。
論文 参考訳（メタデータ） (2025-11-17T23:57:24Z) - InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。
対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
論文 参考訳（メタデータ） (2025-10-21T06:26:29Z) - IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳（メタデータ） (2025-05-23T09:37:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。