論文の概要: SoK: Data Reconstruction Attacks Against Machine Learning Models: Definition, Metrics, and Benchmark

• arxiv url: http://arxiv.org/abs/2506.07888v1
• Date: Mon, 09 Jun 2025 16:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.035435
• Title: SoK: Data Reconstruction Attacks Against Machine Learning Models: Definition, Metrics, and Benchmark
• Title（参考訳）: SoK: マシンラーニングモデルに対するデータ再構成攻撃:定義、メトリクス、ベンチマーク
• Authors: Rui Wen, Yiyong Liu, Michael Backes, Yang Zhang,
• Abstract要約: 本稿では,統一的な攻撃分類とデータ再構成攻撃の形式的定義を提案する。 まず、定量化可能性、一貫性、精度、多様性といった重要な基準を考慮に入れた定量的評価指標のセットを提案する。 我々は,人間の判断の代用として大規模言語モデル(LLM)を活用し,高品質な再構築を重視した視覚的評価を可能にした。
• 参考スコア（独自算出の注目度）: 22.8804507954023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data reconstruction attacks, which aim to recover the training dataset of a target model with limited access, have gained increasing attention in recent years. However, there is currently no consensus on a formal definition of data reconstruction attacks or appropriate evaluation metrics for measuring their quality. This lack of rigorous definitions and universal metrics has hindered further advancement in this field. In this paper, we address this issue in the vision domain by proposing a unified attack taxonomy and formal definitions of data reconstruction attacks. We first propose a set of quantitative evaluation metrics that consider important criteria such as quantifiability, consistency, precision, and diversity. Additionally, we leverage large language models (LLMs) as a substitute for human judgment, enabling visual evaluation with an emphasis on high-quality reconstructions. Using our proposed taxonomy and metrics, we present a unified framework for systematically evaluating the strengths and limitations of existing attacks and establishing a benchmark for future research. Empirical results, primarily from a memorization perspective, not only validate the effectiveness of our metrics but also offer valuable insights for designing new attacks.
• Abstract（参考訳）: 近年,限られたアクセスで対象モデルのトレーニングデータセットを復元することを目的としたデータ再構築攻撃が注目されている。 しかし、現時点では、データ再構成攻撃の正式な定義や、その品質を測定するための適切な評価指標について合意が得られていない。 この厳密な定義と普遍的な計量の欠如は、この分野のさらなる進歩を妨げている。 本稿では、統一的な攻撃分類とデータ再構成攻撃の形式的定義を提案することにより、視覚領域におけるこの問題に対処する。 まず、定量化可能性、一貫性、精度、多様性といった重要な基準を考慮に入れた定量的評価指標のセットを提案する。 さらに,人間の判断の代用として大規模言語モデル(LLM)を活用し,高品質な再構築を重視した視覚的評価を可能にした。 提案する分類基準と指標を用いて,既存の攻撃の強さと限界を体系的に評価し,今後の研究のためのベンチマークを確立するための統一的な枠組みを提案する。 経験的な結果、主に記憶化の観点から、メトリクスの有効性を検証するだけでなく、新しい攻撃を設計するための貴重な洞察を提供する。

関連論文リスト

• Revisiting Model Inversion Evaluation: From Misleading Standards to Reliable Privacy Assessment [63.07424521895492]
  モデル反転(MI)攻撃は、機械学習モデルTへのアクセスを利用して、プライベートトレーニングデータから情報を再構築することを目的としている。 このような攻撃に対する標準的な評価フレームワークは、Tと同じタスク設計で訓練された評価モデルEに依存している。 このフレームワークはMI研究の進歩を評価するためのデファクトスタンダードとなり、近年のMI攻撃や防衛のほとんどすべてで問題なく使用されている。
  論文  参考訳（メタデータ） (2025-05-06T13:32:12Z)
• Are We Truly Forgetting? A Critical Re-examination of Machine Unlearning Evaluation Protocols [14.961054239793356]
  本稿では,下流のタスククラスと意味的類似性を示すクラスを忘れる,厳密なアンラーニング評価手法を提案する。 われわれのベンチマークは、現実的な条件下での未学習アルゴリズム評価のための標準化されたプロトコルとして機能することを願っている。
  論文  参考訳（メタデータ） (2025-03-10T07:11:34Z)
• MIBench: A Comprehensive Framework for Benchmarking Model Inversion Attack and Defense [42.56467639172508]
  Model Inversion (MI)攻撃は、ターゲットモデルの出力情報を活用して、プライバシに敏感なトレーニングデータを再構築することを目的としている。 我々は、モデル反転攻撃と防御の体系的評価のためのMIBenchという最初の実用的なベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-10-07T16:13:49Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• Learning Evaluation Models from Large Language Models for Sequence Generation [61.8421748792555]
  本稿では,大規模言語モデルを用いた3段階評価モデルトレーニング手法を提案する。 SummEval ベンチマークによる実験結果から,CSEM は人間ラベルデータなしで評価モデルを効果的に訓練できることが示された。
  論文  参考訳（メタデータ） (2023-08-08T16:41:16Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。