論文の概要: Improving Generalization on Cybersecurity Tasks with Multi-Modal Contrastive Learning

• arxiv url: http://arxiv.org/abs/2603.20181v1
• Date: Fri, 20 Mar 2026 17:57:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.278263
• Title: Improving Generalization on Cybersecurity Tasks with Multi-Modal Contrastive Learning
• Title（参考訳）: マルチモーダルコントラスト学習によるサイバーセキュリティタスクの一般化
• Authors: Jianan Huang, Rodolfo V. Valentim, Luca Vassio, Matteo Boffa, Marco Mellia, Idilio Drago, Dario Rossi,
• Abstract要約: 我々は,サイバーセキュリティタスクにおけるML性能向上に向けた第一歩として,対照的なマルチモーダル学習について検討する。 テキストによる脆弱性記述を用いてペイロード分類をガイドする2段階のマルチモーダルコントラスト学習フレームワークを提案する。 我々は、大規模プライベートデータセットと、パブリックなCVE記述とLCM生成ペイロードから構築された合成ベンチマークのアプローチを評価する。
• 参考スコア（独自算出の注目度）: 4.010782812385566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of ML in cybersecurity has long been impaired by generalization issues: Models that work well in controlled scenarios fail to maintain performance in production. The root cause often lies in ML algorithms learning superficial patterns (shortcuts) rather than underlying cybersecurity concepts. We investigate contrastive multi-modal learning as a first step towards improving ML performance in cybersecurity tasks. We aim at transferring knowledge from data-rich modalities, such as text, to data-scarce modalities, such as payloads. We set up a case study on threat classification and propose a two-stage multi-modal contrastive learning framework that uses textual vulnerability descriptions to guide payload classification. First, we construct a semantically meaningful embedding space using contrastive learning on descriptions. Then, we align payloads to this space, transferring knowledge from text to payloads. We evaluate the approach on a large-scale private dataset and a synthetic benchmark built from public CVE descriptions and LLM-generated payloads. The methodology appears to reduce shortcut learning over baselines on both benchmarks. We release our synthetic benchmark and source code as open source.
• Abstract（参考訳）: 制御されたシナリオでうまく機能するモデルは、本番環境でのパフォーマンスを維持することができません。 根本原因は、基礎となるサイバーセキュリティの概念ではなく、表面パターン(ショートカット)を学ぶMLアルゴリズムにあることが多い。 我々は,サイバーセキュリティタスクにおけるML性能向上に向けた第一歩として,対照的なマルチモーダル学習について検討する。 我々は,テキストなどのデータリッチなモダリティからペイロードなどのデータスカースなモダリティへ知識を伝達することを目的としている。 脅威分類のケーススタディを構築し,テキストによる脆弱性記述を用いてペイロード分類をガイドする2段階のマルチモーダルコントラスト学習フレームワークを提案する。 まず,記述に対するコントラスト学習を用いて意味的に意味のある埋め込み空間を構築する。 そして、ペイロードをこのスペースにアライメントし、テキストからペイロードへの知識の転送を行います。 我々は、大規模プライベートデータセットと、パブリックなCVE記述とLCM生成ペイロードから構築された合成ベンチマークのアプローチを評価する。 この手法は両方のベンチマークのベースラインよりもショートカット学習を減らしているようだ。 合成ベンチマークとソースコードをオープンソースとしてリリースしています。

関連論文リスト

• Key-Augmented Neural Triggers for Knowledge Sharing [3.8718804267599416]
  Key-Augmented Neural Triggersは、知識アンカーをトレーニングと推論の両方に組み込む。 局所的なコンテキストにおけるフラグメンテーションとグラウンドディング推論を減らす。 スケーラブルで低レイテンシでオンプレミスのデプロイメントに適している。
  論文  参考訳（メタデータ） (2025-08-05T11:40:56Z)
• CAAD: Context-Aware Adaptive Decoding for Truthful Text Generation [31.469511576774252]
  大規模言語モデルに対する文脈対応適応型復号法を提案する。 当社のアプローチは、TrathfulQAで平均2.8%の改善を実現しています。 モデルに依存しない,スケーラブルで,効率的な手法では,1世代パスしか必要としない。
  論文  参考訳（メタデータ） (2025-08-04T08:28:25Z)
• Unlearning Sensitive Information in Multimodal LLMs: Benchmark and Attack-Defense Evaluation [88.78166077081912]
  我々は、MLLMから特定のマルチモーダル知識を削除する方法を評価するために、マルチモーダル・アンラーニング・ベンチマークUnLOK-VQAとアタック・アンド・ディフェンス・フレームワークを導入する。 その結果,マルチモーダル攻撃はテキストや画像のみの攻撃よりも優れており,最も効果的な防御は内部モデル状態から解答情報を除去することを示した。
  論文  参考訳（メタデータ） (2025-05-01T01:54:00Z)
• Post-Incorporating Code Structural Knowledge into Pretrained Models via ICL for Code Translation [15.73070332657629]
  大規模言語モデル(LLM)はソフトウェアマイニングにおいて大きな進歩を遂げた。 ソースコードの構文構造を扱うことは 依然として課題です 本稿では、コード構造知識を事前学習したLLMに組み込むために、インコンテキスト学習(ICL)を用いる。
  論文  参考訳（メタデータ） (2025-03-28T10:59:42Z)
• Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding [71.01099784480597]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、様々なタスクで優れる In-Context Contrastive Decoding (ICCD)を導入する。
  論文  参考訳（メタデータ） (2025-02-19T14:04:46Z)
• Security Vulnerability Detection with Multitask Self-Instructed Fine-Tuning of Large Language Models [8.167614500821223]
  脆弱性検出のためのMSIVD, マルチタスクによる自己指示型微調整を, チェーン・オブ・シント・プロンプトとLDMによる自己指示にインスパイアした。 実験の結果,MSIVDは高い性能を示し,LineVul(LLMベースの脆弱性検出ベースライン)はBigVulデータセットでは0.92点,PreciseBugsデータセットでは0.48点であった。
  論文  参考訳（メタデータ） (2024-06-09T19:18:05Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。