論文の概要: Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2602.23834v1
• Date: Fri, 27 Feb 2026 09:13:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.349056
• Title: Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning
• Title（参考訳）: ソフトウェア脆弱性予測のための継続的学習の強化--Hybrid-Confidence-Aware Selective Replayによる時間LLMファインチューニングのカタストロフィック・フォーミングへの取り組み
• Authors: Xuhui Dou, Hayretdin Bahsi, Alejandro Guerra-Manzanares,
• Abstract要約: 本稿では,CVE-linked データセット上でのデコーダ型言語モデル (phi/phi-2 with LoRA) の微調整について検討する。 本研究では,ウィンドウオンリーおよび累積学習,リプレイベースライン,正規化ベースバリアントを含む8つの連続学習戦略を評価する。 ハイブリッドCASRはベースラインと比較してウィンドウ当たりのトレーニング時間を約17%削減する一方、累積トレーニングは15.9倍の計算コストでF1をわずかに増加させる(0.661)。
• 参考スコア（独自算出の注目度）: 43.24339861841546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work applies Large Language Models (LLMs) to source-code vulnerability detection, but most evaluations still rely on random train-test splits that ignore time and overestimate real-world performance. In practice, detectors are deployed on evolving code bases and must recognise future vulnerabilities under temporal distribution shift. This paper investigates continual fine-tuning of a decoder-style language model (microsoft/phi-2 with LoRA) on a CVE-linked dataset spanning 2018-2024, organised into bi-monthly windows. We evaluate eight continual learning strategies, including window-only and cumulative training, replay-based baselines and regularisation-based variants. We propose Hybrid Class-Aware Selective Replay (Hybrid-CASR), a confidence-aware replay method for binary vulnerability classification that prioritises uncertain samples while maintaining a balanced ratio of VULNERABLE and FIXED functions in the replay buffer. On bi-monthly forward evaluation Hybrid-CASR achieves a Macro-F1 of 0.667, improving on the window-only baseline (0.651) by 0.016 with statistically significant gains ($p = 0.026$) and stronger backward retention (IBR@1 of 0.741). Hybrid-CASR also reduces training time per window by about 17 percent compared to the baseline, whereas cumulative training delivers only a minor F1 increase (0.661) at a 15.9-fold computational cost. Overall, the results show that selective replay with class balancing offers a practical accuracy-efficiency trade-off for LLM-based temporal vulnerability detection under continuous temporal drift.
• Abstract（参考訳）: 最近の研究は、ソースコードの脆弱性検出にLarge Language Models(LLM)を適用しているが、ほとんどの評価は、時間を無視し、実世界のパフォーマンスを過大評価するランダムなトレインテストの分割に依存している。 実際には、検出器は進化するコードベースにデプロイされ、時間的分散シフトの下で将来の脆弱性を認識する必要があります。 本稿では,2018-2024年におけるCVE関連データセット上で,デコーダスタイルの言語モデル(microsoft/phi-2 with LoRA)の連続的な微調整について検討する。 本研究では,ウィンドウオンリーおよび累積学習,リプレイベースライン,正規化ベースバリアントを含む8つの連続学習戦略を評価する。 リプレイバッファ内のVULNERABLE関数とFIXED関数のバランスの取れた比を維持しつつ、不確実なサンプルを優先する二項脆弱性分類のための信頼度の高いリプレイ手法であるハイブリッドクラスアウェア選択リプレイ(Hybrid-CASR)を提案する。 隔月フォワード評価では、Hybrid-CASRは0.667のマクロF1を達成し、ウィンドウのみのベースライン(0.651)を0.016倍に改善し、統計的に有意な利得(p = 0.026$)と強い後方保持(0.741のIBR@1)を達成した。 ハイブリッドCASRは、ベースラインと比較してウィンドウ当たりのトレーニング時間を約17%削減する一方、累積トレーニングは15.9倍の計算コストでF1をわずかに増加させる(0.661)。 その結果、クラスバランスによる選択的リプレイは、連続的時間的ドリフト下でのLLMに基づく時間的脆弱性検出に対して、実用的な精度と効率のトレードオフをもたらすことが示された。

関連論文リスト

• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Hybrid Ensemble Method for Detecting Cyber-Attacks in Water Distribution Systems Using the BATADAL Dataset [1.4975436239088316]
  配水システムにおけるサイバー攻撃の検出能力を向上するハイブリッドアンサンブル学習モデルを検討する。 提案フレームワークは, 時間依存型産業システムにおいて, サイバー攻撃検出のための堅牢でスケーラブルなソリューションを確立する。
  論文  参考訳（メタデータ） (2025-12-16T14:07:22Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Randomized Neural Network with Adaptive Forward Regularization for Online Task-free Class Incremental Learning [16.323995111105884]
  本稿では,前向き正則化(-F)を備えたニューラルネットワーク(NN)を提案する。 調整可能な前方正規化(-kF)を用いたアンサンブル深部乱数ベクトル関数型リンクネットワーク(edRVFL)のアルゴリズムを導出する。 EDRVFL-kFは、1パスのクローズドフォームのインクリメンタルアップデートと可変学習率を生成し、過去のリプレイや破滅的な忘れを効果的に回避する。 プラグアンドプレイのedRVFL-kF-Bayesに改良を加え、複数のサブラーナーのすべてのハードkを自己適応的に決定できるようにする。
  論文  参考訳（メタデータ） (2025-10-24T11:50:13Z)
• Pentest-R1: Towards Autonomous Penetration Testing Reasoning Optimized via Two-Stage Reinforcement Learning [12.155067662797281]
  Pentest-R1は、侵入テストタスクの推論機能を最適化するために設計されたフレームワークである。 環境フィードバックから直接学習し、堅牢なエラー自己補正と適応戦略を開発する。 AutoPenBenchでは、Pentest-R1は24.2%の成功率に達し、ほとんどの最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2025-08-10T15:14:05Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
  本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。 ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
  論文  参考訳（メタデータ） (2023-01-28T06:11:31Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。