Fugu-MT 論文翻訳(概要): Win-k: Improved Membership Inference Attacks on Small Language Models

論文の概要: Win-k: Improved Membership Inference Attacks on Small Language Models

arxiv url: http://arxiv.org/abs/2508.01268v1
Date: Sat, 02 Aug 2025 08:50:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-05 18:25:21.794271
Title: Win-k: Improved Membership Inference Attacks on Small Language Models
Title（参考訳）: Win-k: 小規模言語モデルにおけるメンバシップ推論攻撃の改善
Authors: Roya Arkhmammadova, Hosein Madadi Tamar, M. Emre Gursoy,
Abstract要約: 小型言語モデル(SLM)におけるMIA(Message Inference attack)について検討する。我々は、最先端攻撃(min-k)の上に構築されたwin-kと呼ばれる新しいMIAを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Small language models (SLMs) are increasingly valued for their efficiency and deployability in resource-constrained environments, making them useful for on-device, privacy-sensitive, and edge computing applications. On the other hand, membership inference attacks (MIAs), which aim to determine whether a given sample was used in a model's training, are an important threat with serious privacy and intellectual property implications. In this paper, we study MIAs on SLMs. Although MIAs were shown to be effective on large language models (LLMs), they are relatively less studied on emerging SLMs, and furthermore, their effectiveness decreases as models get smaller. Motivated by this finding, we propose a new MIA called win-k, which builds on top of a state-of-the-art attack (min-k). We experimentally evaluate win-k by comparing it with five existing MIAs using three datasets and eight SLMs. Results show that win-k outperforms existing MIAs in terms of AUROC, TPR @ 1% FPR, and FPR @ 99% TPR metrics, especially on smaller models.
Abstract（参考訳）: SLM(Small Language Model)は、リソース制約のある環境での効率性とデプロイ性から、デバイス上の、プライバシに敏感な、エッジコンピューティングアプリケーションに有用である。一方、モデルのトレーニングでサンプルが使用されているかどうかを判断することを目的とした会員推論攻撃(MIA)は、深刻なプライバシーと知的財産権の脅威である。本稿では,SLMにおけるMIAについて検討する。 MIAは大規模言語モデル(LLM)に有効であることが示されているが、新興SLMでは研究が比較的少なく、モデルが小さくなるにつれて効果が低下する。この発見に触発された我々は、最先端攻撃(min-k)の上に構築されたwin-kと呼ばれる新しいMIAを提案する。 3つのデータセットと8つのSLMを用いて,既存のMIAと比較し,Win-kを実験的に評価した。結果は、AUROC、TPR @ 1% FPR、FPR @ 99% TPRメトリクス、特により小さなモデルにおいて、Win-kが既存のMIAより優れていることを示している。

関連論文リスト

Strong Membership Inference Attacks on Massive Datasets and (Moderately) Large Language Models [38.27329422174473]
最先端メンバシップ推論攻撃(MIA)は通常、多くの参照モデルをトレーニングする必要があるため、これらの攻撃を大きな事前訓練された言語モデル(LLM)に拡張することは困難である。この問題に対処するには、最強MIAの1つであるLiRAを10Mから1BパラメータのGPT-2アーキテクチャに拡張し、C4データセットから20B以上のトークン上で参照モデルをトレーニングする。
論文参考訳（メタデータ） (2025-05-24T16:23:43Z)
Membership Inference Attacks on Large-Scale Models: A Survey [4.717839478553265]
メンバーシップ推論アタック(MIA)は、特定のデータポイントがモデルのトレーニングセットの一部であるかどうかを判断するために使用されるテクニックである。 MIAは、機械学習モデルのプライバシ脆弱性を評価するための重要な指標である。古典的モデルにおけるMIAに関する広範な研究にもかかわらず、その有効性と限界に対処する体系的な調査はいまだに残っていない。
論文参考訳（メタデータ） (2025-03-25T04:11:47Z)
Benchmarking Large and Small MLLMs [71.78055760441256]
大規模なマルチモーダル言語モデル(MLLM)は、マルチモーダルコンテンツの理解と生成において顕著な進歩を遂げている。しかし、そのデプロイメントは、遅い推論、高い計算コスト、デバイス上のアプリケーションに対する非現実性など、重大な課題に直面している。 LLavaシリーズモデルとPhi-3-Visionによって実証された小さなMLLMは、より高速な推論、デプロイメントコストの削減、ドメイン固有のシナリオを扱う能力を備えた有望な代替手段を提供する。
論文参考訳（メタデータ） (2025-01-04T07:44:49Z)
EM-MIAs: Enhancing Membership Inference Attacks in Large Language Models through Ensemble Modeling [2.494935495983421]
本稿では,XGBoostをベースとしたモデルに既存のMIA技術を統合し,全体的な攻撃性能(EM-MIAs)を向上させる新しいアンサンブル攻撃法を提案する。実験結果から,アンサンブルモデルではAUC-ROCと精度が,大規模言語モデルやデータセットを対象とする個別攻撃法と比較して有意に向上していることがわかった。
論文参考訳（メタデータ） (2024-12-23T03:47:54Z)
Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
本稿では,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練する新しいメンバーシップ推論手法EM-MIAを紹介する。 EM-MIAはWikiMIAで最先端の結果を得る。
論文参考訳（メタデータ） (2024-10-10T03:31:16Z)
LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
論文参考訳（メタデータ） (2024-07-28T06:10:47Z)
AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
論文参考訳（メタデータ） (2024-06-24T15:16:45Z)
Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
論文参考訳（メタデータ） (2024-02-12T17:52:05Z)
FedMIA: An Effective Membership Inference Attack Exploiting "All for One" Principle in Federated Learning [17.141646895576145]
Federated Learning(FL)は、分散データ上で機械学習モデルをトレーニングするための有望なアプローチである。メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットクライアントのトレーニングセットに属するかどうかを判断することを目的としている。我々はFedMIAと呼ばれる3段階のメンバーシップ推論攻撃(MIA)手法を導入し、MIAの有効性を高めるため、複数の通信ラウンドにまたがる全クライアントからの更新を平均化する。
論文参考訳（メタデータ） (2024-02-09T09:58:35Z)
Embedding Attack Project (Work Report) [1.1406834504148182]
本報告では,埋め込み攻撃プロジェクトのMIA実験(Membership Inference Attacks)について概説する。現在の結果は、コンピュータビジョンから言語モデリングまでの6つのAIモデルにおける2つの主要なMIA戦略の評価をカバーしている。 MIA防衛と近辺比較攻撃の2つの実験が進行中である。
論文参考訳（メタデータ） (2024-01-24T23:35:29Z)
Learning-Based Difficulty Calibration for Enhanced Membership Inference Attacks [3.470379197911889]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがモデルのトレーニングデータセットの一部であるかどうかを敵が判断することを可能にする。低偽陽性率(FPR)におけるTPRの大幅な改善を目的としたMIAの新しいアプローチを提案する。実験の結果,LCD-MIAは,他の困難キャリブレーションに基づくMIAと比較して,低FPRでのTPRを最大4倍改善できることがわかった。
論文参考訳（メタデータ） (2024-01-10T04:58:17Z)
RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文参考訳（メタデータ） (2022-07-12T19:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。