論文の概要: A Full-Pipeline Framework for Evaluating Membership Inference Attacks in Machine Learning

• arxiv url: http://arxiv.org/abs/2605.29454v1
• Date: Thu, 28 May 2026 06:48:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.866096
• Title: A Full-Pipeline Framework for Evaluating Membership Inference Attacks in Machine Learning
• Title（参考訳）: 機械学習におけるメンバシップ推論攻撃評価のためのフルパイプラインフレームワーク
• Authors: Ding Chen, Xinwen Cheng, Xuyang Zhong, Xinping Chen, Xiaolin Huang, Chen Liu,
• Abstract要約: 我々は、機械学習パイプライン全体にわたるプライバシーリスクを特徴付ける包括的な評価フレームワークを導入する。 我々のフレームワークは、幅広いトレーニング構成で最先端のMIAを厳格に評価する。
• 参考スコア（独自算出の注目度）: 31.096361601691708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Membership Inference Attacks (MIAs) are the prevailing method for identifying training data, their application has expanded into privacy auditing and machine unlearning. Nevertheless, the field lacks a systematic framework for evaluating how different contexts affect MIA efficacy. Without such a characterization, practitioners risk deploying algorithms that perform well on benchmarks but become statistically irrelevant when faced with the nuances of specific, real-world datasets. To bridge this gap and provide actionable insights, we introduce a comprehensive evaluation framework that systematically characterizes privacy risks across the entire machine learning pipeline, spanning data, architectures, algorithms, and post-training modules. Designed to inherently capture diverse operational contexts, our framework rigorously evaluates state-of-the-art MIAs across a broad spectrum of training configurations. To account for varying misclassification costs in real-world deployments, we employ three complementary metrics: Balanced Accuracy for symmetric costs, alongside TPR at low FPR (or TNR at low FNR) for asymmetric scenarios where false alarms or missed detections are strictly penalized. Furthermore, recognizing that existing MIAs assume divergent adversary capabilities, we formalize two standardized threat models and adapt these attacks into corresponding variants to ensure an equitable benchmark. Extensive empirical evaluations demonstrate that the efficacy of specific MIA methodologies is highly sensitive to the assumed threat models and chosen evaluation metrics. Ultimately, we distill these findings into actionable guidelines and provide a ready-to-use auditing toolkit, empowering practitioners to conduct better privacy assessments.
• Abstract（参考訳）: メンバーシップ推論攻撃(MIA)はトレーニングデータを識別する一般的な方法であるが、そのアプリケーションはプライバシー監査や機械学習にも拡張されている。 それでも、異なるコンテキストがMIAの有効性にどのように影響するかを評価するための体系的な枠組みが欠落している。 このような特徴がなければ、実践者はベンチマークでうまく機能するが、特定の実世界のデータセットのニュアンスに直面した場合には統計的に無関係になるアルゴリズムをデプロイするリスクがある。 このギャップを埋めて実行可能な洞察を提供するために、私たちは、データ、アーキテクチャ、アルゴリズム、トレーニング後のモジュールにまたがる機械学習パイプライン全体のプライバシーリスクを体系的に特徴付ける包括的な評価フレームワークを導入しました。 多様な運用コンテキストを本質的に捉えるように設計された我々のフレームワークは、幅広いトレーニング構成にわたって最先端のMIAを厳格に評価する。 実世界の展開において、様々な誤分類コストを考慮し、次の3つの相補的な指標を用いる。 偽アラームや誤検出が厳格に罰せられる非対称シナリオに対して、低FPR(または低FNRのTNR)でのTPRと並行して、対称コストのバランスの取れた精度。 さらに、既存のMIAが異なる敵の能力を前提としていることを認識し、2つの標準化された脅威モデルを形式化し、これらの攻撃を対応する変種に適応させ、公平なベンチマークを確保する。 実験により,特定のMIA手法の有効性は推定された脅威モデルや選択された評価指標に非常に敏感であることが確認された。 最終的に、これらの知見を実行可能なガイドラインに抽出し、適切な監査ツールキットを提供し、実践者がより良いプライバシーアセスメントを行うことを可能にします。

関連論文リスト

• RADAR: Revealing Asymmetric Development of Abilities in MLLM Pre-training [59.493415006017635]
  事前訓練されたマルチモーダル大言語モデル(MLLM)は、ポストトレーニングのための知識豊富な基盤を提供する。 現在の評価は、厳格な追加トレーニングと自己回帰的復号コストを導入する、教師付き微調整後のテストに依存している。 MLLM pRe トレーニングにおける非対称性向上のための効率的な能力中心評価フレームワーク RADAR を提案する。
  論文  参考訳（メタデータ） (2026-02-13T12:56:31Z)
• Membership Inference Attacks from Causal Principles [24.370456956570873]
  我々は、MIA評価を因果推論問題とし、記憶をトレーニングセットにデータポイントを含む因果効果として定義する。 非漸近的整合性保証付きマルチラン・ワンラン・ゼロラン体制の実用的推定器を提案する。
  論文  参考訳（メタデータ） (2026-02-02T21:17:28Z)
• Rectifying Privacy and Efficacy Measurements in Machine Unlearning: A New Inference Attack Perspective [42.003102851493885]
  本稿では,不正確な未学習手法の評価において重要なギャップに対処するため,RULI (Rectified Unlearning Evaluation Framework via Likelihood Inference)を提案する。 RULIは、未学習の有効性とプライバシリスクをサンプルごとの粒度で測定するために、二重目的攻撃を導入している。 既存の手法で過小評価されているプライバシーリスクを暴露し,最先端のアンラーニング手法の重大な脆弱性を明らかにした。
  論文  参考訳（メタデータ） (2025-06-16T00:30:02Z)
• Redefining Machine Unlearning: A Conformal Prediction-Motivated Approach [11.609354498110358]
  機械学習は、訓練されたモデルから特定のデータの影響を取り除こうとする。 本稿では,UA と MIA にまたがる誤分類データには,予測セットに基礎的真理ラベルがまだ含まれていないことを明らかにする。 本稿では,記憶品質をより確実に評価する共形予測に着想を得た2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2025-01-31T18:58:43Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Group Robust Classification Without Any Group Information [5.053622900542495]
  この研究は、グループロバストネスに対する現在のバイアス非教師アプローチが、最適なパフォーマンスを達成するためにグループ情報に依存し続けていることを主張する。 バイアスラベルは依然として効果的なモデル選択に不可欠であり、現実のシナリオにおけるこれらの手法の実用性を制限する。 本稿では, 偏りのないモデルに対して, 完全にバイアスのない方法でトレーニングし, 妥当性を検証するための改訂手法を提案する。
  論文  参考訳（メタデータ） (2023-10-28T01:29:18Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。