論文の概要: Disparate Impact on Group Accuracy of Linearization for Private Inference

• arxiv url: http://arxiv.org/abs/2402.03629v3
• Date: Tue, 20 Aug 2024 17:08:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 20:19:21.657623
• Title: Disparate Impact on Group Accuracy of Linearization for Private Inference
• Title（参考訳）: 個人推論のための線形化群精度に対する異なる影響
• Authors: Saswat Das, Marco Romanelli, Ferdinando Fioretto,
• Abstract要約: 多数派と比較して,ReLUアクティベーション数の減少は少数派に対する精度を著しく低下させることを示す。 また,線形化モデルの微調整手順を変更する簡単な手順が,効果的な緩和戦略として有効であることを示す。
• 参考スコア（独自算出の注目度）: 48.27026603581436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensuring privacy-preserving inference on cryptographically secure data is a well-known computational challenge. To alleviate the bottleneck of costly cryptographic computations in non-linear activations, recent methods have suggested linearizing a targeted portion of these activations in neural networks. This technique results in significantly reduced runtimes with often negligible impacts on accuracy. In this paper, we demonstrate that such computational benefits may lead to increased fairness costs. Specifically, we find that reducing the number of ReLU activations disproportionately decreases the accuracy for minority groups compared to majority groups. To explain these observations, we provide a mathematical interpretation under restricted assumptions about the nature of the decision boundary, while also showing the prevalence of this problem across widely used datasets and architectures. Finally, we show how a simple procedure altering the fine-tuning step for linearized models can serve as an effective mitigation strategy.
• Abstract（参考訳）: 暗号化されたセキュアなデータに対するプライバシー保護推論を保証することは、よく知られた計算課題である。 非線形アクティベーションにおけるコストのかかる暗号計算のボトルネックを軽減するため、最近の手法では、ニューラルネットワークにおいてこれらのアクティベーションのターゲット部分の線形化が提案されている。 この技術は、しばしば精度に無視できる影響で、ランタイムを著しく削減する。 本稿では,このような計算的利点が公正コストの増大につながることを実証する。 具体的には、ReLUアクティベーション数の減少が多数派と比較して少数派の精度を不均等に低下させることが判明した。 これらの観察を説明するために、決定境界の性質に関する限定的な仮定の下で数学的解釈を行い、また、広く使われているデータセットやアーキテクチャにおけるこの問題の有病率を示す。 最後に,線形化モデルの微調整手順を変更する簡単な手順が,効果的な緩和戦略として有効であることを示す。

関連論文リスト

• A constrained optimization approach to improve robustness of neural networks [1.2338729811609355]
  クリーンなデータに対する精度を維持しつつ、敵攻撃に対する堅牢性を向上させるために、ファインチューン事前学習ニューラルネットワークに対する非線形プログラミングに基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-18T18:37:14Z)
• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• Batch-oriented Element-wise Approximate Activation for Privacy-Preserving Neural Networks [5.039738753594332]
  ホモモルフィック暗号化(FHE)は、非線型アクティベーション計算にホモモルフィック演算を容易に適用できないという大きな課題に直面している。 バッチ指向の要素単位のデータパッキングと近似アクティベーションを提案し、非線形アクティベーション関数ReLUを近似するために線形低次を訓練する。 実験の結果、4096の入力画像上で、現在の最も効率的なチャネルワイド方式と比較して、暗号文推論を行うと、推測精度が1.65%向上し、償却推論時間が99.5%低下することがわかった。
  論文  参考訳（メタデータ） (2024-03-16T13:26:33Z)
• Towards Practical Robustness Auditing for Linear Regression [8.9598796481325]
  データセットの小さなサブセットの存在を発見または否定するアルゴリズムについて検討する。 これらの手法は, 技術の状況を大きく上回り, 数次元における回帰問題の堅牢性チェックに有用であることを示す。 我々は、アルゴリズムの頑健な統計学における最近の革新から引き出されたアイデアを用いて、スペクトルアルゴリズムを用いて、この課題を先導する。
  論文  参考訳（メタデータ） (2023-07-30T20:47:36Z)
• dugMatting: Decomposed-Uncertainty-Guided Matting [83.71273621169404]
  そこで本稿では, 明確に分解された不確かさを探索し, 効率よく効率よく改善する, 分解不確実性誘導型マッチングアルゴリズムを提案する。 提案したマッチングフレームワークは,シンプルで効率的なラベリングを用いて対話領域を決定する必要性を緩和する。
  論文  参考訳（メタデータ） (2023-06-02T11:19:50Z)
• Neural Networks Reduction via Lumping [0.0]
  操作数とモデルに関連するパラメータの両方を減らすために、多数のソリューションが公開されている。 これらの還元技術の多くは実際には手法であり、通常、精度を回復するために少なくとも1つの再訓練ステップを必要とする。 データや微調整を使わずにネットワーク内のニューロン数を削減し,正確な動作を完全に保存するプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-09-15T17:13:07Z)
• Calibrating Segmentation Networks with Margin-based Label Smoothing [19.669173092632]
  現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。 これらの損失は、ロジット距離に等しい制約を課す線形ペナルティの近似と見なすことができる。 我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
  論文  参考訳（メタデータ） (2022-09-09T20:21:03Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Investigating the Scalability and Biological Plausibility of the Activation Relaxation Algorithm [62.997667081978825]
  アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。 このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。 また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
  論文  参考訳（メタデータ） (2020-10-13T08:02:38Z)
• Differentiable Causal Discovery from Interventional Data [141.41931444927184]
  本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。 提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2020-07-03T15:19:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。