論文の概要: Assemblage: Automatic Binary Dataset Construction for Machine Learning
- arxiv url: http://arxiv.org/abs/2405.03991v2
- Date: Sat, 02 Nov 2024 21:13:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:41:06.956040
- Title: Assemblage: Automatic Binary Dataset Construction for Machine Learning
- Title（参考訳）: Assemblage: 機械学習のための自動バイナリデータセット構築
- Authors: Chang Liu, Rebecca Saul, Yihao Sun, Edward Raff, Maya Fuchs, Townsend Southard Pantano, James Holt, Kristopher Micinski,
- Abstract要約: Assemblageはクラウドベースの分散システムで、Windows PEバイナリをクロールし、構成し、構築する。
過去1年間、AWS上でAssemblageを実行し、29のコンフィギュレーションで890kのWindows PEと428kのLinux ELFバイナリを生成しました。
- 参考スコア（独自算出の注目度）: 35.674339346299654
- License:
- Abstract: Binary code is pervasive, and binary analysis is a key task in reverse engineering, malware classification, and vulnerability discovery. Unfortunately, while there exist large corpora of malicious binaries, obtaining high-quality corpora of benign binaries for modern systems has proven challenging (e.g., due to licensing issues). Consequently, machine learning based pipelines for binary analysis utilize either costly commercial corpora (e.g., VirusTotal) or open-source binaries (e.g., coreutils) available in limited quantities. To address these issues, we present Assemblage: an extensible cloud-based distributed system that crawls, configures, and builds Windows PE binaries to obtain high-quality binary corpuses suitable for training state-of-the-art models in binary analysis. We have run Assemblage on AWS over the past year, producing 890k Windows PE and 428k Linux ELF binaries across 29 configurations. Assemblage is designed to be both reproducible and extensible, enabling users to publish "recipes" for their datasets, and facilitating the extraction of a wide array of features. We evaluated Assemblage by using its data to train modern learning-based pipelines for compiler provenance and binary function similarity. Our results illustrate the practical need for robust corpora of high-quality Windows PE binaries in training modern learning-based binary analyses. Assemblage code is open sourced under the MIT license, and the dataset can be downloaded from https://assemblage-dataset.net
- Abstract（参考訳）: バイナリコードは普及しており、バイナリ分析はリバースエンジニアリング、マルウェア分類、脆弱性発見において重要なタスクである。
残念なことに、悪意のあるバイナリの大規模なコーパスが存在する一方で、現代のシステムのために良質なバイナリの高品質コーパスを取得することは、難しい(例えば、ライセンスの問題)。
その結果、バイナリ分析のための機械学習ベースのパイプラインは、高価な商用コーパス(例: VirusTotal)またはオープンソースのバイナリ(例: coreutils)を限られた量で使用することができる。
これらの問題に対処するために、Assemblage: Windows PEバイナリをクロールし、構成し、ビルドする拡張可能なクラウドベースの分散システム。
過去1年間、AWS上でAssemblageを実行し、29構成で890kのWindows PEと428kのLinux ELFバイナリを生成しました。
Assemblageは再現性と拡張性の両方に設計されており、ユーザはデータセットの“レシピ”を公開でき、幅広い機能の抽出を容易にする。
我々は、Assemblageのデータを用いて、コンパイラの証明とバイナリ関数の類似性に関する現代の学習ベースのパイプラインをトレーニングすることで、Assemblageを評価した。
この結果から,現代学習に基づくバイナリ分析の訓練において,高品質なWindows PEバイナリの堅牢なコーパスの必要性が示唆された。
AssemblageコードはMITライセンス下でオープンソース化されており、データセットはhttps://assemblage-dataset.netからダウンロードできる。
関連論文リスト
- Levels of Binary Equivalence for the Comparison of Binaries from Alternative Builds [1.1405827621489222]
ビルドプラットフォームの可変性は、妥協されたビルド環境の検出を容易にするため、セキュリティを強化することができる。
同じソースから構築された複数のバイナリの可用性は、新たな課題と機会を生み出します。
そのような質問に答えるためには、バイナリ間の等価性の概念が必要である。
論文 参考訳（メタデータ） (2024-10-11T00:16:26Z) - Bi-Directional Transformers vs. word2vec: Discovering Vulnerabilities in Lifted Compiled Code [4.956066467858057]
本研究では,Word2vec,BERT,RoBERTaを用いた自然言語処理(NLP)埋め込み技術を用いた脆弱性検出について検討する。
長い短期記憶(LSTM)ニューラルネットワークは、Julietデータセットから約48kのLLVM関数を使用して生成されたエンコーダからの埋め込みをトレーニングした。
論文 参考訳（メタデータ） (2024-05-31T03:57:19Z) - Unsupervised Binary Code Translation with Application to Code Similarity Detection and Vulnerability Discovery [2.022692275087205]
クロスアーキテクチャのバイナリコード解析が新たな問題となっている。
ディープラーニングベースのバイナリ分析は、有望な成功を収めている。
低リソースのISAでは、十分な量のデータを見つけることは困難である。
論文 参考訳（メタデータ） (2024-04-29T18:09:28Z) - How Far Have We Gone in Binary Code Understanding Using Large Language Models [51.527805834378974]
バイナリコード理解におけるLarge Language Models(LLM)の有効性を評価するためのベンチマークを提案する。
評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。
論文 参考訳（メタデータ） (2024-04-15T14:44:08Z) - BinaryAI: Binary Software Composition Analysis via Intelligent Binary Source Code Matching [8.655595404611821]
BinaryAIは2フェーズのバイナリソースコードマッチングを備えた新しいバイナリ・ソースSCA技術で、構文的および意味的両方のコード特徴をキャプチャする。
実験の結果、バイナリソースコードマッチングと下流SCAタスクにおいて、BinaryAIの優れた性能を示しました。
論文 参考訳（メタデータ） (2024-01-20T07:57:57Z) - BiBench: Benchmarking and Analyzing Network Binarization [72.59760752906757]
ネットワークバイナライゼーションは、異常な計算とメモリ節約を提供する最も有望な圧縮手法の1つとして出現する。
精度劣化や効率制限といった双項化の一般的な課題は、その属性が完全には理解されていないことを示唆している。
ネットワークバイナライゼーションのための深度解析を用いた厳密に設計されたベンチマークであるBiBenchを提案する。
論文 参考訳（メタデータ） (2023-01-26T17:17:16Z) - BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to
Real-Network Performance [54.214426436283134]
Deep-FSMNのようなディープニューラルネットワークはキーワードスポッティング(KWS)アプリケーションのために広く研究されている。
我々は、KWS、すなわちBiFSMNv2のための強力で効率的なバイナリニューラルネットワークを提示し、それを実ネットワーク精度のパフォーマンスにプッシュする。
小型アーキテクチャと最適化されたハードウェアカーネルの利点により、BiFSMNv2は25.1倍のスピードアップと20.2倍のストレージ節約を実現できる。
論文 参考訳（メタデータ） (2022-11-13T18:31:45Z) - Towards Accurate Binary Neural Networks via Modeling Contextual
Dependencies [52.691032025163175]
既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。
本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
論文 参考訳（メタデータ） (2022-09-03T11:51:04Z) - Semantic-aware Binary Code Representation with BERT [27.908093567605484]
バグ発見、マルウェア分析、コードクローン検出など、幅広いバイナリ分析アプリケーションでは、バイナリコード上でのコンテキスト意味の回復が必要である。
近年,バイナリのコード表現を自動再構築するために,機械学習に基づくバイナリ解析手法が提案されている。
本稿では,バイナリコードのセマンティックなコード表現を生成するためにBERTを利用するDeepSemanticを提案する。
論文 参考訳（メタデータ） (2021-06-10T03:31:29Z) - Binary DAD-Net: Binarized Driveable Area Detection Network for
Autonomous Driving [94.40107679615618]
本稿では,二項化駆動型領域検出ネットワーク(バイナリDAD-Net)を提案する。
エンコーダ、ボトルネック、デコーダ部分の2重みとアクティベーションのみを使用する。
パブリックデータセット上で、最先端のセマンティックセグメンテーションネットワークより優れています。
論文 参考訳（メタデータ） (2020-06-15T07:09:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。