Fugu-MT 論文翻訳(概要): The Connection between Out-of-Distribution Generalization and Privacy of ML Models

論文の概要: The Connection between Out-of-Distribution Generalization and Privacy of ML Models

arxiv url: http://arxiv.org/abs/2110.03369v1
Date: Thu, 7 Oct 2021 12:05:25 GMT
ステータス: 処理完了
システム内更新日: 2021-10-08 15:57:07.523651
Title: The Connection between Out-of-Distribution Generalization and Privacy of ML Models
Title（参考訳）: MLモデルの配布外一般化とプライバシの関連
Authors: Divyat Mahajan, Shruti Tople, Amit Sharma
Abstract要約: より低いOOD一般化ギャップはMI攻撃に対するロバスト性を損なうことが示唆された。安定した特徴をキャプチャするモデルは、より優れたOOD一般化を示すが安定した特徴を学習しないモデルよりも、MI攻撃に対して堅牢である。証明可能な差分プライバシー保証と同様に、安定した機能を学ぶモデルは、他のものよりも高いユーティリティを提供する。
参考スコア（独自算出の注目度）: 11.580603875423408
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the goal of generalizing to out-of-distribution (OOD) data, recent domain generalization methods aim to learn "stable" feature representations whose effect on the output remains invariant across domains. Given the theoretical connection between generalization and privacy, we ask whether better OOD generalization leads to better privacy for machine learning models, where privacy is measured through robustness to membership inference (MI) attacks. In general, we find that the relationship does not hold. Through extensive evaluation on a synthetic dataset and image datasets like MNIST, Fashion-MNIST, and Chest X-rays, we show that a lower OOD generalization gap does not imply better robustness to MI attacks. Instead, privacy benefits are based on the extent to which a model captures the stable features. A model that captures stable features is more robust to MI attacks than models that exhibit better OOD generalization but do not learn stable features. Further, for the same provable differential privacy guarantees, a model that learns stable features provides higher utility as compared to others. Our results offer the first extensive empirical study connecting stable features and privacy, and also have a takeaway for the domain generalization community; MI attack can be used as a complementary metric to measure model quality.
Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)データへの一般化を目標とし、近年のドメイン一般化手法は、出力に対する影響がドメイン間で不変である「安定」な特徴表現を学習することを目的としている。一般化とプライバシの理論的関係を考えると、OODの一般化が機械学習モデルにより良いプライバシをもたらすかどうかを問う。一般に、この関係は成立しない。合成データセットとMNIST, Fashion-MNIST, Chest X-rayなどの画像データセットを広範囲に評価することにより, 低いOOD一般化ギャップがMI攻撃に対するロバスト性を向上しないことを示す。代わりに、プライバシの利点は、モデルが安定した機能をキャプチャする程度に基づいている。安定した特徴をキャプチャするモデルは、より優れたOOD一般化を示すが安定した特徴を学習しないモデルよりも、MI攻撃に対して堅牢である。さらに、同じ証明可能な差分プライバシー保証に対して、安定した特徴を学習するモデルは、他のものよりも高いユーティリティを提供する。我々の研究は、安定した特徴とプライバシを結合する最初の広範な実証的研究を提供し、またドメインの一般化コミュニティにも注目に値する。

関連論文リスト

MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文参考訳（メタデータ） (2024-10-12T07:02:33Z)
PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文参考訳（メタデータ） (2024-07-12T03:18:08Z)
Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文参考訳（メタデータ） (2024-04-01T16:50:54Z)
Towards Robust Out-of-Distribution Generalization Bounds via Sharpness [41.65692353665847]
モデルがドメインシフトにおけるデータ変化を許容する方法にシャープさが及ぼす影響について検討する。強靭性を考慮したシャープネスに基づくOOD一般化を提案する。
論文参考訳（メタデータ） (2024-03-11T02:57:27Z)
Evaluating Membership Inference Attacks and Defenses in Federated Learning [23.080346952364884]
会員推論攻撃(MIA)は、連合学習におけるプライバシー保護への脅威を増大させる。本稿では,既存のMIAと対応する防衛戦略の評価を行う。
論文参考訳（メタデータ） (2024-02-09T09:58:35Z)
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文参考訳（メタデータ） (2023-04-19T14:58:27Z)
RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文参考訳（メタデータ） (2022-07-12T19:34:47Z)
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文参考訳（メタデータ） (2022-04-15T22:36:55Z)
Rethinking Machine Learning Robustness via its Link with the Out-of-Distribution Problem [16.154434566725012]
本稿では,機械学習モデルの逆例に対する感受性の原因について検討する。本稿では, 逆方向と自然方向の両方に反するOOD一般化法を提案する。われわれのアプローチは、OODの敵入力に対する堅牢性を一貫して改善し、最先端の防御よりも優れています。
論文参考訳（メタデータ） (2022-02-18T00:17:23Z)
BEDS-Bench: Behavior of EHR-models under Distributional Shift--A Benchmark [21.040754460129854]
OOD設定下でのEHRデータ上でのMLモデルの振る舞いを定量化するベンチマークであるBEDS-Benchをリリースする。 BEDS-Bench の学習アルゴリズムを複数評価した結果,一般に分布シフト下での一般化性能の低下が判明した。
論文参考訳（メタデータ） (2021-07-17T05:53:24Z)
Why Should I Trust a Model is Private? Using Shifts in Model Explanation for Evaluating Privacy-Preserving Emotion Recognition Model [35.016050900061]
本稿では,モデルの有効性を評価するために解釈可能な手法を用いることに焦点をあてる。プライバシーを守るための一般的な方法が、プライバシー保護の人間の認識とどのように一致しないかを示します。評価者の傾きを評価し、特定のタスクのモデルを選択するためのクラウドソーシング実験を行います。
論文参考訳（メタデータ） (2021-04-18T09:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。