論文の概要: Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems

• arxiv url: http://arxiv.org/abs/2503.00383v1
• Date: Sat, 01 Mar 2025 07:15:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:26:43.350451
• Title: Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems
• Title（参考訳）: 協調推論系におけるモデル反転ロバスト性と条件エントロピー最大化の理論的考察
• Authors: Song Xia, Yi Yu, Wenhan Yang, Meiwen Ding, Zhuo Chen, Lingyu Duan, Alex C. Kot, Xudong Jiang,
• Abstract要約: 協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。 この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。 そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 89.35169042718739
• License:
• Abstract: By locally encoding raw data into intermediate features, collaborative inference enables end users to leverage powerful deep learning models without exposure of sensitive raw data to cloud servers. However, recent studies have revealed that these intermediate features may not sufficiently preserve privacy, as information can be leaked and raw data can be reconstructed via model inversion attacks (MIAs). Obfuscation-based methods, such as noise corruption, adversarial representation learning, and information filters, enhance the inversion robustness by obfuscating the task-irrelevant redundancy empirically. However, methods for quantifying such redundancy remain elusive, and the explicit mathematical relation between this redundancy minimization and inversion robustness enhancement has not yet been established. To address that, this work first theoretically proves that the conditional entropy of inputs given intermediate features provides a guaranteed lower bound on the reconstruction mean square error (MSE) under any MIA. Then, we derive a differentiable and solvable measure for bounding this conditional entropy based on the Gaussian mixture estimation and propose a conditional entropy maximization (CEM) algorithm to enhance the inversion robustness. Experimental results on four datasets demonstrate the effectiveness and adaptability of our proposed CEM; without compromising feature utility and computing efficiency, plugging the proposed CEM into obfuscation-based defense mechanisms consistently boosts their inversion robustness, achieving average gains ranging from 12.9\% to 48.2\%. Code is available at \href{https://github.com/xiasong0501/CEM}{https://github.com/xiasong0501/CEM}.
• Abstract（参考訳）: 生データを中間機能にローカルにエンコードすることで、協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 しかし、最近の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保たない可能性があることが判明している。 ノイズ汚損、敵対表現学習、情報フィルタなどの難読化に基づく手法は、タスク非関連冗長性を実証的に難読化することにより、逆ロバスト性を高める。 しかし、そのような冗長性を定量化する方法はいまだ解明されておらず、この冗長性最小化と逆ロバスト性向上との明確な数学的関係は確立されていない。 そこで本研究はまず,中間特徴量に対する入力の条件エントロピーが,任意のMIA条件下での復元平均二乗誤差(MSE)に保証された下界を与えることを理論的に証明する。 次に、ガウス混合推定に基づいて、この条件エントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件エントロピー最大化(CEM)アルゴリズムを提案する。 提案したCEMの有効性と適応性を示す4つのデータセットの実験結果から,提案したCEMを難解性ベースの防御機構にプラグインすることで,その逆堅牢性を一貫して向上させ,12.9\%から48.2\%までの平均ゲインを達成することができた。 コードは \href{https://github.com/xiasong0501/CEM}{https://github.com/xiasong0501/CEM} で公開されている。

関連論文リスト

• Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
  LLM生成符号の正確性のプロキシとして不確実性推定を検討する。 我々は、自然言語生成から最先端の2つの技術を適用した。 我々は,不確実性が高い場合にモデルを予測できないようにするための禁忌ポリシーを開発する。
  論文  参考訳（メタデータ） (2025-02-17T10:03:01Z)
• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
  反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。 我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。 筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:05:58Z)
• Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
  IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。 本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:50:19Z)
• Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
  Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。 本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。 また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
  論文  参考訳（メタデータ） (2024-06-19T16:42:57Z)
• Enhancing Reliability of Neural Networks at the Edge: Inverted Normalization with Stochastic Affine Transformations [0.22499166814992438]
  インメモリコンピューティングアーキテクチャに実装されたBayNNのロバスト性と推論精度を本質的に向上する手法を提案する。 実証的な結果は推論精度の優雅な低下を示し、最大で58.11%の値で改善された。
  論文  参考訳（メタデータ） (2024-01-23T00:27:31Z)
• A robust method for reliability updating with equality information using sequential adaptive importance sampling [8.254850675268957]
  信頼性更新(Reliability update)とは、ベイジアン更新技術と構造的信頼性解析を統合した問題である。 本稿では,逐次重要サンプリングとK平均クラスタリングを組み合わせたRU-SAISという革新的な手法を提案する。 その結果, RU-SAISは既存手法よりも精度が高く, 堅牢な後方故障確率推定が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-03-08T12:55:40Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。