Fugu-MT 論文翻訳(概要): Decomposing Memorization Reduction in Privacy-Preserving Fine-Tuning of SLMs for CSIRTs

論文の概要: Decomposing Memorization Reduction in Privacy-Preserving Fine-Tuning of SLMs for CSIRTs

arxiv url: http://arxiv.org/abs/2606.28479v1
Date: Fri, 26 Jun 2026 17:35:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.581793
Title: Decomposing Memorization Reduction in Privacy-Preserving Fine-Tuning of SLMs for CSIRTs
Title（参考訳）: CSIRT用SLMのプライバシ保存微調整における記憶の分解
Abstract要約: 構造化CSIRTデータ上で1Bから3Bパラメータの小さな言語モデルを微調整する際に,DP SGDとHMACの擬似化がどのように作用するかを示す。 96個のLORAアダプタを4つのSLMと4つのトレーニング体制で評価した。その中には、生微調整、大規模バッチトレーニング付きQLoRA、エプシロン2と8のDP SGDが含まれる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: CSIRTs increasingly fine tune language models on vulnerability scan records, but these records expose internal network topology and create privacy risks under regulations such as GDPR and LGPD. We present the first empirical study of how DP SGD and HMAC pseudonymization interact when fine tuning small language models with 1B to 3B parameters on structured CSIRT data. We evaluate 96 LoRA adapters across four SLMs and four training regimes, including raw fine tuning, QLoRA with large batch training, and DP SGD with epsilon equal to 2 and 8. We also audit memorization using 20 planted canaries, four extraction attacks, and a dual attack targeting HMAC pseudonymized identifiers. Our results show three main findings. First, matched update controls reproduce the observed reduction in memorization by reducing the number of optimizer updates alone, accounting for 66 percent to 132 percent of the measured effect, with a mean of 100 percent across three seeds and four models. In this setting, DP SGD provides the formal privacy guarantee but does not produce additional measurable reductions in memorization. Second, HMAC pseudonymization removes the original identifiers from the exposure surface, reducing exposure by 40 percent to 61 percent, while pseudonymized identifiers remain close to the expected random baseline and do not become a secondary memorization target. Third, F1 scores remain between 0.19 and 0.28 across all 96 adapters using four shot prompting, indicating that, under the evaluated training budget, 1B to 3B SLMs do not achieve operationally useful performance.
Abstract（参考訳）: CSIRTは、脆弱性スキャンレコードの言語モデルを微調整する傾向にあるが、これらのレコードは内部ネットワークトポロジを公開し、GDPRやLGPDなどの規制の下でプライバシーリスクを発生させる。構造化CSIRTデータ上に1Bから3Bパラメータの小さな言語モデルを微調整する際に,DP SGDとHMACの擬似化がどのように作用するかを示す。 96個のLORAアダプタを4つのSLMと4つのトレーニング体制で評価した。その中には、生微調整、大規模バッチトレーニング付きQLoRA、エプシロン2と8のDP SGDが含まれる。また,20個の植込みカナリア,4個の抽出攻撃,およびHMAC疑似識別子を標的とした二重攻撃による記憶検査を行った。以上の結果から3つの主な所見が得られた。まず、一致した更新コントロールは、測定結果の66%から132%、平均は3つの種と4つのモデルにまたがって、観測された記憶の減少を再現する。この設定では、DP SGDは正式なプライバシ保証を提供するが、メモリ化のさらなる測定可能な削減は生じない。第二に、HMACの偽名化は元の識別子を露出面から取り除き、露出を40%から61%削減する一方、偽名化識別子は期待されるランダムベースラインに近づき、二次記憶対象にはならない。第3に、F1のスコアは96のアダプタすべてで0.19から0.28の間であり、4つのショットプロンプトを使用しており、1Bから3BのSLMが運用上有用な性能を発揮できないことを示す。

関連論文リスト

Traffic-Aware Randomized Smoothing for LLM-Based Network Intrusion Detection [1.4915002678801434]
本稿では,侵入検知システムに対するTA-RS(Traffic-Aware Randomized Smoothing)を提案する。ガウスノイズを制御可能部分空間(DC)にのみ注入する認証された防御法である。 2つのデータセットに対して、55-100%の認証精度を達成する。
論文参考訳（メタデータ） (2026-07-15T13:08:19Z)
Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
論文参考訳（メタデータ） (2026-06-17T07:29:18Z)
MIDS: Detecting Stealthy Masquerade and Tampering Attacks on CAN Bus via Bidirectional Mamba [7.668518582517737]
現在の侵入検知システムは、主に製造スタイルの攻撃に調整されている。そこで我々は,より硬いemphmasquerade setciteb37設定に対処するため,Mamba Intrusion Detection System (MIDS)を提案する。 MIDSはCAN識別子とペイロードを並列に処理し、その共同時間意味論を再構築する。
論文参考訳（メタデータ） (2026-06-17T01:57:08Z)
Human-Inspired Memory Architecture for LLM Agents [0.9507070656654629]
6つの認知機構からなる生体記憶アーキテクチャを提案する。各メカニズムは、単純メモリ蓄積の特定の障害モードに対処する。 S層スケール(50セッション)では、デダップベースのコンソリデーションにより、好みのリコールが+13.3pp向上する。
論文参考訳（メタデータ） (2026-05-08T22:52:37Z)
Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach [44.738736515079346]
Federated Large Language Models (FedLLMs) は、複数のパーティが生データを共有することなく、協調的にLLMを微調整することができる。 FedLLMsの特異な性質、すなわち、巨大なパラメータスケール、急速な収束、スパースな非直交勾配は、既存のMIAsを非効率にする。提案するProjResは,FedLLMsに適したプロジェクション残差型受動MIAである。
論文参考訳（メタデータ） (2026-04-23T01:44:04Z)
ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文参考訳（メタデータ） (2026-04-09T10:26:32Z)
Randomized Masked Finetuning: An Efficient Way to Mitigate Memorization of PIIs in LLMs [2.9506547907696006]
我々は,パフォーマンスへの影響を最小限に抑えつつ,記憶を小さくするプライバシー保護ファインチューニング技術であるRandomized Masked Fine-Tuning (RMFT)を紹介した。その結果,RMFTの総抽出速度は80.81%低下し,抽出速度は80.17%低下した。
論文参考訳（メタデータ） (2025-12-02T23:46:42Z)
Assessing and Mitigating Data Memorization Risks in Fine-Tuned Large Language Models [0.0]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。トレーニングデータを記憶する傾向は、特に微調整プロセスにおいて、重大なプライバシーリスクを引き起こす。本稿では、微調整LDMにおけるデータの包括的分析を行い、新しい多層プライバシー保護フレームワークを提案する。
論文参考訳（メタデータ） (2025-08-10T10:26:55Z)
DP-SGD-Global-Adapt-V2-S: Triad Improvements of Privacy, Accuracy and Fairness via Step Decay Noise Multiplier and Step Decay Upper Clipping Threshold [1.8741812670237725]
DPSGDのサンプルごとの勾配クリッピングとトレーニング中の一様雑音付加は、モデルの有用性と公平性を著しく低下させる。ステップデカイ雑音乗算器と、ステップワイズで減衰する上クリッピング閾値を有するDP-SGD-Global-Adapt-V2-Sを開発した。精度は0.9795%、0.6786%、MNIST、CIFAR10、CIFAR100で4.0130%向上する。
論文参考訳（メタデータ） (2023-12-05T00:09:57Z)
Locally Differentially Private Document Generation Using Zero Shot Prompting [61.20953109732442]
本稿では,DP-Prompt と呼ばれる局所的に異なるプライベートなメカニズムを提案し,作者の匿名化攻撃に対処する。 DP-PromptをChatGPT(gpt-3.5)のような強力な言語モデルで使用すると、匿名化攻撃の成功率の顕著な低下が観察される。
論文参考訳（メタデータ） (2023-10-24T18:25:13Z)
An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition [51.232523987916636]
差分プライバシー(DP)は、プライバシーデータにノイズのある歪みを課すことで、深層モデルのトレーニングに使用されるユーザー情報を保護するための1つのデータ保護手段である。本研究では、PATE学習を動的パターン、すなわち音声を扱うように拡張し、音響データの漏洩を避けるために、ASRに関する最初の実験を行う。
論文参考訳（メタデータ） (2022-10-11T16:55:54Z)
Unlocking High-Accuracy Differentially Private Image Classification through Scale [45.93988209606857]
差分プライバシー(DP)は、機械学習モデルにアクセスする敵が個々のトレーニングポイントに関する情報を抽出することを防ぐ正式なプライバシー保証を提供する。従来の研究では、DP-SGDが標準画像分類ベンチマークの性能を著しく低下させることが多かった。オーバーパラメータ化モデル上でのDP-SGDは、以前考えられていたよりもはるかに優れた性能を示す。
論文参考訳（メタデータ） (2022-04-28T17:10:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。