論文の概要: REBENCH: A Procedural, Fair-by-Construction Benchmark for LLMs on Stripped-Binary Types and Names (Extended Version)

• arxiv url: http://arxiv.org/abs/2604.27319v1
• Date: Thu, 30 Apr 2026 02:03:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.873006
• Title: REBENCH: A Procedural, Fair-by-Construction Benchmark for LLMs on Stripped-Binary Types and Names (Extended Version)
• Title（参考訳）: REBENCH:ストラップ付きバイナリタイプと名前のLLMのための手続き的、公正なコンストラクションベンチマーク(拡張版)
• Authors: Jun Yeon Won, Xin Jin, Shiqing Ma, Zhiqiang Lin,
• Abstract要約: 大規模言語モデル(LLM)は近年顕著な進歩を遂げ、幅広い領域で採用されている。 リバースエンジニアリングでは、LLMは関数や変数名リカバリ、型推論といった重要なタスクにますます適用されています。 既存の研究は、異なるデータセット、前処理パイプライン、評価メトリクスに依存している。 バイナリリバースエンジニアリングタスク上でLLMを評価するための総合ベンチマークデータセットであるREBenchを提案する。
• 参考スコア（独自算出の注目度）: 32.69257865315466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable progress in recent years, driving their adoption across a wide range of domains, including computer security. In reverse engineering, LLMs are increasingly applied to critical tasks such as function and variable name recovery and type inference. However, despite the rapid growth of research in this area, progress has been hindered by the absence of a standardized dataset. Existing studies rely on disparate datasets, preprocessing pipelines, and evaluation metrics, making fair comparisons between approaches difficult and obscuring a clear understanding of LLM capabilities in binary analysis. To address these challenges, we present REBench, a comprehensive benchmark dataset for evaluating LLMs on binary reverse engineering tasks. REBench consolidates a superset of existing datasets, comprising hundreds of millions of lines of source code and a diverse collection of binaries spanning multiple architectures and optimization levels. REBench adopts a knowledge-base-driven methodology that stores byte-level stack information to generate ground truth, ensuring that task difficulty is preserved while maintaining universal applicability. This design enables fair evaluation across tasks while avoiding simplifications that could bias results. As a use case, we apply REBench to measure the reverse engineering performance of LLMs and the result demonstrates difficulties in complex tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は近年顕著な進歩を遂げており、コンピュータセキュリティを含む幅広い領域で採用されている。 リバースエンジニアリングでは、LLMは関数や変数名リカバリ、型推論といった重要なタスクにますます適用されています。 しかし、この分野の研究の急速な成長にもかかわらず、標準化されたデータセットが存在しないため、進歩は妨げられている。 既存の研究は、異なるデータセット、前処理パイプライン、評価メトリクスに依存しており、アプローチ間の公正な比較を困難にし、バイナリ分析におけるLLM機能の明確な理解を隠蔽している。 これらの課題に対処するため、バイナリリバースエンジニアリングタスク上でLLMを評価するための総合ベンチマークデータセットであるREBenchを提案する。 ReBenchは、数十億行のソースコードと、複数のアーキテクチャと最適化レベルにまたがる多様なバイナリからなる、既存のデータセットのスーパーセットを統合する。 REBenchは、バイトレベルのスタック情報を格納して基礎的な真実を生成する知識ベース駆動の方法論を採用し、普遍的な適用性を維持しながらタスクの難しさを維持できる。 この設計は、タスク間の公正な評価を可能にし、結果をバイアスする単純化を避けます。 ユースケースとして, LLMのリバースエンジニアリング性能の測定にREBenchを適用し, 複雑なタスクの難しさを実証する。

関連論文リスト

• Narrowing the Complexity Gap in the Evaluation of Large Language Models [7.915455233884959]
  現実のコードの複雑さに関して、LLM(Large Language Models)を評価することが不可欠です。 我々は,任意のプログラムベンチマークに実世界の複雑さを追加する自動手法であるGeneBenchを提案する。
  論文  参考訳（メタデータ） (2026-02-21T18:39:06Z)
• CETBench: A Novel Dataset constructed via Transformations over Programs for Benchmarking LLMs for Code-Equivalence Checking [18.036870409436137]
  CETBench - プログラムのリポジトリを通して構築された変換ベンチマークによるコード等価性を示す。 データセットの各インスタンスは、リポジトリにプログラムのペアを取り、ランダムに定義されたコード変換を適用して取得します。 解析の結果,基礎となるプログラムの組における非常に単純なコード変換がSOTA LLMの性能を著しく低下させる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-06-04T14:47:14Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• BinMetric: A Comprehensive Binary Analysis Benchmark for Large Language Models [50.17907898478795]
  本稿では,バイナリ解析タスクにおける大規模言語モデルの性能評価のためのベンチマークであるBinMetricを紹介する。 BinMetricは6つの実用的なバイナリ分析タスクにわたる20の実際のオープンソースプロジェクトから得られた1000の質問で構成されている。 本ベンチマークの実証実験では, 各種LLMのバイナリ解析能力について検討し, その強度と限界を明らかにした。
  論文  参考訳（メタデータ） (2025-05-12T08:54:07Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
  本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。 間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。 本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。