Fugu-MT 論文翻訳(概要): The Connection between Out-of-Distribution Generalization and Privacy of ML Models

論文の概要: The Connection between Out-of-Distribution Generalization and Privacy of ML Models

arxiv url: http://arxiv.org/abs/2110.03369v1
Date: Thu, 7 Oct 2021 12:05:25 GMT
ステータス: 処理完了
システム内更新日: 2021-10-08 15:57:07.523651
Title: The Connection between Out-of-Distribution Generalization and Privacy of ML Models
Title（参考訳）: MLモデルの配布外一般化とプライバシの関連
Authors: Divyat Mahajan, Shruti Tople, Amit Sharma
Abstract要約: より低いOOD一般化ギャップはMI攻撃に対するロバスト性を損なうことが示唆された。安定した特徴をキャプチャするモデルは、より優れたOOD一般化を示すが安定した特徴を学習しないモデルよりも、MI攻撃に対して堅牢である。証明可能な差分プライバシー保証と同様に、安定した機能を学ぶモデルは、他のものよりも高いユーティリティを提供する。
参考スコア（独自算出の注目度）: 11.580603875423408
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the goal of generalizing to out-of-distribution (OOD) data, recent domain generalization methods aim to learn "stable" feature representations whose effect on the output remains invariant across domains. Given the theoretical connection between generalization and privacy, we ask whether better OOD generalization leads to better privacy for machine learning models, where privacy is measured through robustness to membership inference (MI) attacks. In general, we find that the relationship does not hold. Through extensive evaluation on a synthetic dataset and image datasets like MNIST, Fashion-MNIST, and Chest X-rays, we show that a lower OOD generalization gap does not imply better robustness to MI attacks. Instead, privacy benefits are based on the extent to which a model captures the stable features. A model that captures stable features is more robust to MI attacks than models that exhibit better OOD generalization but do not learn stable features. Further, for the same provable differential privacy guarantees, a model that learns stable features provides higher utility as compared to others. Our results offer the first extensive empirical study connecting stable features and privacy, and also have a takeaway for the domain generalization community; MI attack can be used as a complementary metric to measure model quality.
Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)データへの一般化を目標とし、近年のドメイン一般化手法は、出力に対する影響がドメイン間で不変である「安定」な特徴表現を学習することを目的としている。一般化とプライバシの理論的関係を考えると、OODの一般化が機械学習モデルにより良いプライバシをもたらすかどうかを問う。一般に、この関係は成立しない。合成データセットとMNIST, Fashion-MNIST, Chest X-rayなどの画像データセットを広範囲に評価することにより, 低いOOD一般化ギャップがMI攻撃に対するロバスト性を向上しないことを示す。代わりに、プライバシの利点は、モデルが安定した機能をキャプチャする程度に基づいている。安定した特徴をキャプチャするモデルは、より優れたOOD一般化を示すが安定した特徴を学習しないモデルよりも、MI攻撃に対して堅牢である。さらに、同じ証明可能な差分プライバシー保証に対して、安定した特徴を学習するモデルは、他のものよりも高いユーティリティを提供する。我々の研究は、安定した特徴とプライバシを結合する最初の広範な実証的研究を提供し、またドメインの一般化コミュニティにも注目に値する。

関連論文リスト

On Adversarial Robustness and Out-of-Distribution Robustness of Large Language Models [0.16874375111244325]
大規模言語モデル(LLM)における対向ロバストネスとOODロバストネスの相関について検討する。以上の結果より, 対向ロバスト性とOODロバスト性との間にはニュアンスな相互作用がみられ, 移動性に限界があることが示唆された。これらの相互作用を、より大きなモデルと様々なアーキテクチャにわたって評価するためには、さらなる研究が必要である。
論文参考訳（メタデータ） (2024-12-13T20:04:25Z)
Differentially Private Random Feature Model [52.468511541184895]
プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。本手法は,プライバシを保護し,一般化誤差を導出する。
論文参考訳（メタデータ） (2024-12-06T05:31:08Z)
MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文参考訳（メタデータ） (2024-10-12T07:02:33Z)
More RLHF, More Trust? On The Impact of Preference Alignment On Trustworthiness [24.843692458375436]
本研究では,5つの信頼性分野において,汎用的嗜好データに整合したモデルがどのように機能するかを検討する。ヒトの嗜好に対するRLHFは、自動的に信頼性を保証せず、しばしば逆効果が観察される。本稿では,RLHF設定に効率的な影響関数に基づくデータ帰属手法を適用し,個々の信頼性ベンチマークに対する微調整データの影響をよりよく理解するために提案する。
論文参考訳（メタデータ） (2024-04-29T17:00:53Z)
Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文参考訳（メタデータ） (2024-04-01T16:50:54Z)
Towards Robust Out-of-Distribution Generalization Bounds via Sharpness [41.65692353665847]
モデルがドメインシフトにおけるデータ変化を許容する方法にシャープさが及ぼす影響について検討する。強靭性を考慮したシャープネスに基づくOOD一般化を提案する。
論文参考訳（メタデータ） (2024-03-11T02:57:27Z)
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文参考訳（メタデータ） (2023-04-19T14:58:27Z)
RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文参考訳（メタデータ） (2022-07-12T19:34:47Z)
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文参考訳（メタデータ） (2022-04-15T22:36:55Z)
Rethinking Machine Learning Robustness via its Link with the Out-of-Distribution Problem [16.154434566725012]
本稿では,機械学習モデルの逆例に対する感受性の原因について検討する。本稿では, 逆方向と自然方向の両方に反するOOD一般化法を提案する。われわれのアプローチは、OODの敵入力に対する堅牢性を一貫して改善し、最先端の防御よりも優れています。
論文参考訳（メタデータ） (2022-02-18T00:17:23Z)
BEDS-Bench: Behavior of EHR-models under Distributional Shift--A Benchmark [21.040754460129854]
OOD設定下でのEHRデータ上でのMLモデルの振る舞いを定量化するベンチマークであるBEDS-Benchをリリースする。 BEDS-Bench の学習アルゴリズムを複数評価した結果,一般に分布シフト下での一般化性能の低下が判明した。
論文参考訳（メタデータ） (2021-07-17T05:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。