論文の概要: Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification
- arxiv url: http://arxiv.org/abs/2607.21839v1
- Date: Thu, 23 Jul 2026 22:06:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.006306
- Title: Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification
- Title(参考訳): 理論上の証明, 実践上の破綻: 暗号モデル認定における仮定ギャップ
- Authors: Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot,
- Abstract要約: 攻撃者は、モデルが監査データセットで99%以上の精度を達成できるが、同じ分布から得られた新しいサンプルで30%未満の精度を達成できることを示す。
本結果は,既存のアプローチに関する注意深い証拠と,セキュアでプライバシ保護のML監査プロトコルを設計するための建設的ガイダンスを提供する。
- 参考スコア(独自算出の注目度): 27.616093646501536
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy-preserving machine learning auditing protocols allow auditors to assess models for properties such as accuracy or fairness, without revealing their internals or training data. This makes them especially attractive for auditing models deployed in sensitive domains such as healthcare or finance. For these protocols to be meaningful in real-world audit settings, though, their guarantees must reflect how the model will behave once deployed, rather than merely certifying its behavior during an audit. Existing security definitions often miss this mark: most certify model behavior only on a fixed audit dataset, without ensuring that the same guarantees generalize to other datasets drawn from the same distribution. As we show, this gap allows a model provider to attack many cryptographic model certification (CMC) schemes built on secure zero knowledge proofs (ZKP) by carefully engineering training data, resulting in models that exhibit benign behavior during an audit, but pathological behavior in practice. For example, we empirically demonstrate that an attacker can certify that a model achieves over 99% accuracy on an audit dataset, but less than 30% accuracy on fresh samples from the same distribution. To address this gap, we formalize rigorous cryptographic security notions tailored to CMC frameworks, introduce a generic protocol template, and prove that it satisfies these requirements. Our results thus offer both cautionary evidence about existing approaches and constructive guidance for designing secure, privacy-preserving ML auditing protocols.
- Abstract(参考訳): プライバシを保存する機械学習監査プロトコルにより、監査人は内部やトレーニングデータを明らかにすることなく、正確性や公正性などの特性のモデルを評価することができる。
これにより、医療や金融といった繊細な分野にデプロイされた監査モデルにとって、特に魅力的なものになります。
しかし、これらのプロトコルが現実世界の監査設定で意味のあるものであるためには、監査中の振る舞いを単に認証するのではなく、モデルが一度デプロイされた時にどのように振る舞うかを反映する必要がある。
ほとんどが、同じ保証が同じディストリビューションから引き出された他のデータセットに一般化することを保証することなく、固定された監査データセット上でのみモデル動作を認証します。
このギャップが示すように、モデルプロバイダは、訓練データを慎重にエンジニアリングすることで、安全なゼロ知識証明(ZKP)に基づいて構築された多くの暗号モデル認証(CMC)スキームを攻撃することができる。
例えば、アタッカーが監査データセットで99%以上の精度を達成できるが、同じ分布から得られた新しいサンプルで30%未満の精度を達成できることを実証的に証明する。
このギャップに対処するため、CMCフレームワークに適した厳密な暗号化セキュリティ概念を形式化し、汎用的なプロトコルテンプレートを導入し、これらの要件を満たすことを証明する。
この結果から,既存のアプローチに関する注意深い証拠と,セキュアでプライバシ保護のML監査プロトコルを設計するための建設的ガイダンスが得られた。
関連論文リスト
- CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳(メタデータ) (2026-06-09T16:24:16Z) - Stress-Testing Neural Network Verifiers with Provably Robust Instances [10.017475431603389]
我々は,地中構造ラベルを用いた検証インスタンス生成のための再利用可能なフレームワークを提案する。
また、インスタンスの硬さの異なるソースを推定可能な量の集合であるDifficulty Profileについても紹介する。
我々のフレームワークとこれらのプロファイルを用いて、5つの最先端検証ツールを評価し、異なるインスタンスが検証パイプラインの異なる側面を強調していることを示す。
論文 参考訳(メタデータ) (2026-05-16T20:56:52Z) - Towards Verifiable AI with Lightweight Cryptographic Proofs of Inference [3.3323431541048385]
完全証明を軽量なサンプリングベースアプローチで置き換える検証フレームワークとプロトコルを提案する。
我々は,機能的に異なるモデル間のトレース分離を活用可能な条件を定式化し,検証可能な推論プロトコルの安全性について議論する。
我々の手法は、最先端の暗号証明システムと比較して、証明時間を桁違いに削減する。
論文 参考訳(メタデータ) (2026-03-19T15:24:27Z) - CREDIT: Certified Ownership Verification of Deep Neural Networks Against Model Extraction Attacks [54.04030169323115]
我々は、モデル抽出攻撃(MEA)に対する認証された所有権検証であるCREDITを紹介する。
DNNモデル間の類似性を定量化し、実用的な検証しきい値を提案し、このしきい値に基づいてオーナシップ検証を行うための厳密な理論的保証を提供する。
我々は、さまざまなドメインやタスクにまたがるいくつかの主流データセットに対するアプローチを広範囲に評価し、最先端のパフォーマンスを実現した。
論文 参考訳(メタデータ) (2026-02-23T23:36:25Z) - "Show Me You Comply... Without Showing Me Anything": Zero-Knowledge Software Auditing for AI-Enabled Systems [2.2981698355892686]
本稿では,新しいMLOps検証フレームワークであるZKMLOpsを紹介する。
ZKP(Zero-Knowledge Proofs)暗号プロトコルを運用し、証明者が証明者に対して、文が真実であることを納得させることができる。
我々は、金融リスク監査における規制コンプライアンスの研究を通じて、この枠組みの実践性を評価する。
論文 参考訳(メタデータ) (2025-10-30T15:03:32Z) - ZKPROV: A Zero-Knowledge Approach to Dataset Provenance for Large Language Models [46.71493672772134]
LLM証明のゼロ知識証明を可能にする新しい暗号フレームワークであるZKPROVを紹介する。
モデルが信頼できるデータセット上でトレーニングされていることを、モデルやパラメータに関する機密情報を公開せずに確認することができる。
本手法は,学習段階の証明を回避しつつ,ゼロ知識証明を通じてトレーニングデータセットにトレーニングモデルを暗号的にバインドする。
論文 参考訳(メタデータ) (2025-06-26T00:49:02Z) - Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。
我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。
本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
論文 参考訳(メタデータ) (2025-05-29T19:47:50Z) - Trustless Audits without Revealing Data or Models [49.23322187919369]
モデルプロバイダが(アーキテクチャではなく)モデルウェイトとデータシークレットを維持しながら、他のパーティがモデルとデータプロパティを信頼性のない監査を行うことが可能であることを示す。
私たちはZkAuditと呼ばれるプロトコルを設計し、モデルプロバイダがデータセットとモデルの重みの暗号的コミットメントを公開します。
論文 参考訳(メタデータ) (2024-04-06T04:43:06Z) - Auditing and Generating Synthetic Data with Controllable Trust Trade-offs [54.262044436203965]
合成データセットとAIモデルを包括的に評価する総合監査フレームワークを導入する。
バイアスや差別の防止、ソースデータへの忠実性の確保、実用性、堅牢性、プライバシ保護などに焦点を当てている。
多様なユースケースにまたがる様々な生成モデルを監査することにより,フレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-21T09:03:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。