論文の概要: kTrans: Knowledge-Aware Transformer for Binary Code Embedding

• arxiv url: http://arxiv.org/abs/2308.12659v1
• Date: Thu, 24 Aug 2023 09:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 14:36:31.976504
• Title: kTrans: Knowledge-Aware Transformer for Binary Code Embedding
• Title（参考訳）: ktrans:バイナリコード埋め込みのための知識認識トランスフォーマー
• Authors: Wenyu Zhu, Hao Wang, Yuchen Zhou, Jiaming Wang, Zihan Sha, Zeyu Gao, Chao Zhang
• Abstract要約: 我々は,知識を意識したバイナリコード埋め込みを生成するために,トランスフォーマーベースの新しいアプローチ,すなわちkTransを提案する。 生成した埋め込みを外部検出と可視化で検査し、kTransを3つの下流タスクに適用する:バイナリコード類似度検出(BCSD)、FTR(Function Type Recovery)、ICR(Indirect Call Recognition)。 評価の結果、kTransは高品質なバイナリコード埋め込みを生成でき、それぞれ5.2%、6.8%、12.6%のダウンストリームタスクに対するSOTA(State-of-the-art)アプローチを上回っている。
• 参考スコア（独自算出の注目度）: 15.361622199889263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Code Embedding (BCE) has important applications in various reverse engineering tasks such as binary code similarity detection, type recovery, control-flow recovery and data-flow analysis. Recent studies have shown that the Transformer model can comprehend the semantics of binary code to support downstream tasks. However, existing models overlooked the prior knowledge of assembly language. In this paper, we propose a novel Transformer-based approach, namely kTrans, to generate knowledge-aware binary code embedding. By feeding explicit knowledge as additional inputs to the Transformer, and fusing implicit knowledge with a novel pre-training task, kTrans provides a new perspective to incorporating domain knowledge into a Transformer framework. We inspect the generated embeddings with outlier detection and visualization, and also apply kTrans to 3 downstream tasks: Binary Code Similarity Detection (BCSD), Function Type Recovery (FTR) and Indirect Call Recognition (ICR). Evaluation results show that kTrans can generate high-quality binary code embeddings, and outperforms state-of-the-art (SOTA) approaches on downstream tasks by 5.2%, 6.8%, and 12.6% respectively. kTrans is publicly available at: https://github.com/Learner0x5a/kTrans-release
• Abstract（参考訳）: バイナリコード埋め込み(BCE)は、バイナリコード類似性の検出、型回復、制御-フローのリカバリ、データ-フロー分析など、さまざまなリバースエンジニアリングタスクに重要な応用がある。 最近の研究では、トランスフォーマーモデルは下流タスクをサポートするバイナリコードのセマンティクスを理解できることが示されている。 しかし、既存のモデルはアセンブリ言語の以前の知識を見落としていた。 本稿では,知識を意識したバイナリコード埋め込みを生成するために,新しいトランスフォーマーベースのアプローチ,すなわちkTransを提案する。 明示的な知識をトランスフォーマーに追加入力として提供し、新しい事前学習タスクで暗黙的な知識を融合することで、ktransはトランスフォーマーフレームワークにドメイン知識を組み込むための新しい視点を提供する。 生成した埋め込みを外部検出と可視化で検査し、kTransを3つの下流タスクに適用する:バイナリコード類似度検出(BCSD)、FTR(Function Type Recovery)、ICR(Indirect Call Recognition)。 評価の結果、kTransは高品質なバイナリコード埋め込みを生成でき、それぞれ5.2%、6.8%、12.6%のダウンストリームタスクに対するSOTA(State-of-the-art)アプローチを上回っている。 kTrans は https://github.com/Learner0x5a/kTrans-release で公開されている。

関連論文リスト

• CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes [14.631435001491514]
  クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。 また、CrossMPTは、既存のニューラルネットワークベースのデコーダを、様々なコードクラスで大幅に上回っていることを示す。 特に、CrossMPTは、メモリ使用量、複雑性、推論時間、トレーニング時間を著しく削減しながら、このデコードパフォーマンスの改善を実現している。
  論文  参考訳（メタデータ） (2024-05-02T06:30:52Z)
• How Far Have We Gone in Binary Code Understanding Using Large Language Models [51.527805834378974]
  バイナリコード理解におけるLarge Language Models(LLM)の有効性を評価するためのベンチマークを提案する。 評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-15T14:44:08Z)
• TransCoder: Towards Unified Transferable Code Representation Learning Inspired by Human Skills [31.75121546422898]
  本稿では,コード表現学習のためのTransCoderについて述べる。 我々は、メタラーナーとして調整可能なプレフィックスエンコーダを用いて、クロスタスクおよびクロス言語変換可能な知識をキャプチャする。 本手法は, 各種コード関連タスクの性能向上と相互強化の促進に寄与する。
  論文  参考訳（メタデータ） (2023-05-23T06:59:22Z)
• UniASM: Binary Code Similarity Detection without Fine-tuning [0.8271859911016718]
  バイナリ関数の表現を学習するために,UniASMと呼ばれるトランスフォーマーベースのバイナリコード埋め込みモデルを提案する。 既知の脆弱性検索の現実的なタスクでは、UniASMは現在のベースラインをすべて上回っている。
  論文  参考訳（メタデータ） (2022-10-28T14:04:57Z)
• TransRank: Self-supervised Video Representation Learning via Ranking-based Transformation Recognition [73.7566539108205]
  本稿では,RecogTransが意味的関連タスクと時間的関連下流タスクの両方において大きな可能性を観察する。 ハードラベルの分類に基づいて、既存のRecogTransアプローチは事前トレーニングにおいてノイズの多い監視信号に悩まされる。 この問題を緩和するために、ランク付け式における変換を認識する統一的なフレームワークであるTransRankを開発した。
  論文  参考訳（メタデータ） (2022-05-04T12:39:25Z)
• BatchFormerV2: Exploring Sample Relationships for Dense Representation Learning [88.82371069668147]
  BatchFormerV2はより一般的なバッチトランスフォーマーモジュールである。 BatchFormerV2は、現在のDETRベースの検出方法を1.3%以上改善している。
  論文  参考訳（メタデータ） (2022-04-04T05:53:42Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• TransKD: Transformer Knowledge Distillation for Efficient Semantic Segmentation [49.794142076551026]
  Transformer-based Knowledge Distillation (TransKD) フレームワークは,大規模教師トランスフォーマーの機能マップとパッチ埋め込みの両方を蒸留することにより,コンパクトな学生トランスフォーマーを学習する。 Cityscapes、ACDC、NYUv2、Pascal VOC2012データセットの実験は、TransKDが最先端の蒸留フレームワークより優れていることを示している。
  論文  参考訳（メタデータ） (2022-02-27T16:34:10Z)
• TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D Salient Object Detection [86.94578023985677]
  本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。 具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。 7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
  論文  参考訳（メタデータ） (2021-12-04T15:45:34Z)
• Relevance Transformer: Generating Concise Code Snippets with Relevance Feedback [6.230751621285322]
  我々は、明示的なコード生成のためのモダントランスフォーマーアーキテクチャを導入し、研究する。 我々は、擬似関連フィードバックを用いて外部知識を組み込んだRelevance Transformerと呼ばれる新しいモデルを提案する。 その結果,BLEU評価に基づく最先端手法の改善が示された。
  論文  参考訳（メタデータ） (2020-07-06T09:54:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。