論文の概要: Black-Box Membership Inference via Word-Level Probability Estimation
- arxiv url: http://arxiv.org/abs/2609.10611v1
- Date: Tue, 08 Sep 2026 13:15:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.076811
- Title: Black-Box Membership Inference via Word-Level Probability Estimation
- Title（参考訳）: 単語レベル確率推定によるブラックボックスメンバーシップ推定
- Abstract要約: 厳格なブラックボックスプライバシー監査のためのワードレベル確率MIA(WPMIA)を提案する。
WPMIAは、局所的なカーネルの平滑化によるモンテカルロサンプリングによる単語レベルの生成確率を推定し、これらの推定値をシーケンスレベルの可能性推定器に集約する。
我々は、WPMIAを様々なオープンソースLLMで評価し、既存のブラックボックスベースラインを一貫して上回っていることを発見した。
- 参考スコア（独自算出の注目度）: 3.342144489952331
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Membership inference attacks (MIAs) have emerged as critical tools for auditing privacy risks in large language models (LLMs), aiming to determine whether a given text was included in a model's training corpus. However, most existing MIAs require access to per-token logits or probabilities, making them inapplicable in practice to proprietary LLMs that expose only textual continuations. To address this underexplored setting, we propose Word-level Probability MIA (WPMIA), a statistically principled MIA for strict black-box privacy auditing. WPMIA estimates word-level generation probabilities via Monte Carlo sampling with local kernel smoothing, then aggregates these estimates into a sequence-level likelihood estimator. Furthermore, WPMIA constructs the likelihood conditioned on different prefixes, thereby amplifying the distributional differences between members and non-members. We evaluate WPMIA across various open-source LLMs and find that it consistently outperforms existing black-box baselines. Importantly, we also evaluate WPMIA on modern proprietary LLMs, including GPT-5-Chat, Gemini-2.5-Flash, and Claude-4.5-Haiku, achieving an average TPR@5\%FPR of 42.0 across these models. These results offer a sound foundation for future research on strict black-box membership inference. Code is available at \href{https://github.com/niusj03/WPMIA}{https://github.com/niusj03/WPMIA}.
- Abstract（参考訳）: 会員推論攻撃(MIA)は、あるテキストがモデルのトレーニングコーパスに含まれるかどうかを判断することを目的として、大きな言語モデル(LLM)のプライバシーリスクを監査するための重要なツールとして登場した。
しかし、既存のほとんどのMIAは、トークンごとのロジットや確率へのアクセスを必要としており、実際にテキストの継続のみを公開するプロプライエタリなLLMには適用できない。
そこで本稿では,厳密なブラックボックスのプライバシー監査を行うための統計学的なMIAであるWord-level Probability MIA(WPMIA)を提案する。
WPMIAは、局所的なカーネルの平滑化によるモンテカルロサンプリングによる単語レベルの生成確率を推定し、これらの推定値をシーケンスレベルの可能性推定器に集約する。
さらに、WPMIAは異なる接頭辞に条件付けされた可能性を構築し、メンバーと非メンバーの分布差を増幅する。
我々は、WPMIAを様々なオープンソースLLMで評価し、既存のブラックボックスベースラインを一貫して上回っていることを発見した。
また、GPT-5-Chat、Gemini-2.5-Flash、Claude-4.5-Haikuなど、現代のLLM上でWPMIAを評価し、これらのモデル全体で平均TPR@5\%FPRを達成している。
これらの結果は、厳密なブラックボックスメンバーシップ推論に関する将来の研究の基礎となる。
コードは \href{https://github.com/niusj03/WPMIA}{https://github.com/niusj03/WPMIA} で公開されている。
関連論文リスト
- CheckMIABench: Firm Foundations For Membership Inference Attacks on Language Models [11.615767134608708]
メンバーシップ推論攻撃(MIA)は、機械学習モデルのプライバシ特性を評価するための標準的な方法である。
本稿では,LLMに対するMIAの原理的評価のためのベンチマークを構築した。
中間チェックポイントと公開トレーニングデータを備えたすべてのオープンソースモデルは、MIAテストベッドに変換できる。
論文 参考訳（メタデータ） (2026-06-16T03:26:15Z) - MC-PDD: Masked Corpus-Level Pretraining Data Detection for Black-Box Large Language Models [42.7563448607861]
マスク付き言語モデリングパラダイムに触発された新しい手法であるMasked Corpus-level Pretraining Data Detection (MC-PDD)を紹介する。
MC-PDDは各テキストで高度に特定のトークンをマスクし、LLMに欠落したコンテンツを予測するよう促す。
そして、候補コーパスと基準非メンバーコーパスとの予測ヒット率の差が統計的に有意であるかどうかを評価する。
論文 参考訳（メタデータ） (2026-06-06T06:27:54Z) - Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
Instruct-LFはゴール指向の潜在因子発見システムである。
命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
論文 参考訳（メタデータ） (2025-02-21T02:03:08Z) - Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
本稿では,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練する新しいメンバーシップ推論手法EM-MIAを紹介する。
EM-MIAはWikiMIAで最先端の結果を得る。
論文 参考訳（メタデータ） (2024-10-10T03:31:16Z) - Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。
我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
論文 参考訳（メタデータ） (2024-09-23T07:55:35Z) - SoK: Membership Inference Attacks on LLMs are Rushing Nowhere (and How to Fix It) [16.673210422615348]
LLMに対するメンバーシップ推論攻撃(MIA)を行うための10以上の新しい手法が提案されている。
固定だがランダム化されたレコードやモデルに依存する従来のMIAとは対照的に、これらの方法は主にトレーニングされ、ポストホックで収集されたデータセットでテストされる。
このランダム化の欠如は、メンバーと非メンバー間の分散シフトの懸念を引き起こす。
論文 参考訳（メタデータ） (2024-06-25T23:12:07Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Language Models can Evaluate Themselves via Probability Discrepancy [38.54454263880133]
様々な大規模言語モデル(LLM)の有効性を評価するための自己評価手法ProbDiffを提案する。
テスト中のLSMを、初期応答と修正バージョンの間の確率差を計算するために独自に利用する。
以上の結果から, ProbDiff は GPT-4 に基づく評価結果と同等の結果を得た。
論文 参考訳（メタデータ） (2024-05-17T03:50:28Z) - Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。
我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。
様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
論文 参考訳（メタデータ） (2024-02-12T17:52:05Z) - Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models [37.63939774027709]
自然言語生成(NLG)に特化した大規模言語モデル(LLM)が,最近,有望な機能を示すようになった。
我々は、信頼できない結果が無視されるか、さらなる評価のために得られるような、選択的なNLG*に適用し、いくつかの信頼/不確実性対策を提案し、比較する。
その結果, セマンティックな分散の簡易な測定は, LLM応答の質の信頼性を予測できることがわかった。
論文 参考訳（メタデータ） (2023-05-30T16:31:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。