Conformal Privacy Auditing: Calibrated Re-identification Attacks with Statistical Guarantees
Abstractの概要
本論文では、指定された攻撃者モデルの下で文書レベルの再識別リスクを定量化する、テキスト公開時のプライバシー監査フレームワーク「Conformal Privacy Auditing（CPA）」を提案しています。CPAは攻撃者のスコアに対して分割コンフォーマル予測を適用し、交換可能性の仮定の下、ユーザーが選択した信頼度で真の身元が含まれるという有限サンプル保証を持つ候補身元のあいまいさセット（ambiguity set）を公開文書ごとに出力します。本フレームワークは、スコアアクセスを持つモデルだけでなくサンプリングのみのブラックボックスAPIを含む、検索ベースおよびLLM支援型の両方の攻撃者に対応するように設計されています。複数のテキスト公開ベンチマークにわたる実験により、CPAが較正された脅威モデル固有の保証を提供しつつ、補助知識、公開メカニズム、および候補プールの前提が保証付きの識別可能性をどのように変化させるかを明らかにできることが示されています。
新規性
主な新規性は、テキストのプライバシー監査を身元照合のためのコンフォーマル集合予測として定式化し、単なる経験的な攻撃成功率ではなく文書ごとの統計的保証を提供した点にあります。また、統一されたブラックボックス監査フレームワーク内で、ロジットアクセスとサンプリングのみの攻撃者インターフェースの両方をサポートしている点も特徴的です。
成果
複数のベンチマークと攻撃者構成において、CPAは概ね目標とするコンフォーマル水準に近い経験的カバレッジを達成しており、そのあいまいさセットが指定された脅威モデルに対して較正されていることが示されました。報告された保証結果からは、より強力な補助知識があいまいさセットを大幅に縮小させ得ること、LLM支援による手がかり抽出が一部の設定で照合性を高めるもののモデル間で一様ではないこと、そして候補プールのサイズや切り捨てが保証されたリスクに実質的な影響を与えることが示されています。
論文の注目点
- CPAは、公開された各文書に対する攻撃者の残留不確実性の解釈可能な証明書として機能する、コンフォーマルなあいまいさセットを出力します。
- 本手法は、商用APIモデル向けのサンプリングのみのアクセスを含む、検索ベースおよびLLMベースの再識別パイプラインをサポートします。
- 実験により、保証される識別可能性は、特に利用可能な補助情報、モデルの選択、候補プールの構成などの攻撃者構成に強く依存することが示されています。