論文の概要: Disparate Impact on Group Accuracy of Linearization for Private
Inference
- arxiv url: http://arxiv.org/abs/2402.03629v1
- Date: Tue, 6 Feb 2024 01:56:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 17:09:20.944453
- Title: Disparate Impact on Group Accuracy of Linearization for Private
Inference
- Title(参考訳): 個人推論のための線形化群精度に対する異なる影響
- Authors: Saswat Das, Marco Romanelli, Ferdinando Fioretto
- Abstract要約: 多数派と比較して,ReLUアクティベーション数の減少は少数派に対する精度を著しく低下させることを示す。
また,線形化モデルの微調整手順を変更する簡単な手順が,効果的な緩和戦略として有効であることを示す。
- 参考スコア(独自算出の注目度): 52.73179793185882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensuring privacy-preserving inference on cryptographically secure data is a
well-known computational challenge. To alleviate the bottleneck of costly
cryptographic computations in non-linear activations, recent methods have
suggested linearizing a targeted portion of these activations in neural
networks. This technique results in significantly reduced runtimes with often
negligible impacts on accuracy. In this paper, we demonstrate that such
computational benefits may lead to increased fairness costs. Specifically, we
find that reducing the number of ReLU activations disproportionately decreases
the accuracy for minority groups compared to majority groups. To explain these
observations, we provide a mathematical interpretation under restricted
assumptions about the nature of the decision boundary, while also showing the
prevalence of this problem across widely used datasets and architectures.
Finally, we show how a simple procedure altering the fine-tuning step for
linearized models can serve as an effective mitigation strategy.
- Abstract(参考訳): 暗号化されたセキュアなデータに対するプライバシ保存推論の確保は、よく知られた計算上の課題である。
非線形アクティベーションにおけるコストのかかる暗号計算のボトルネックを軽減するため、最近の手法では、ニューラルネットワークにおいてこれらのアクティベーションのターゲット部分の線形化が提案されている。
この技術は、しばしば精度に無視できる影響で、ランタイムを著しく削減する。
本稿では,このような計算的利点が公正コストの増大につながることを実証する。
具体的には、ReLUアクティベーション数の減少が多数派に比べて少数派の精度を著しく低下させることがわかった。
これらの観察を説明するために、決定境界の性質に関する制限された仮定の下での数学的解釈と、広く使われているデータセットやアーキテクチャにまたがるこの問題の流行を示す。
最後に,線形化モデルの微調整手順を変更する簡単な手順が,効果的な緩和戦略として有効であることを示す。
関連論文リスト
- Off-Policy Evaluation of Slate Bandit Policies via Optimizing
Abstraction [22.215852332444907]
政策がスレートとして知られる多次元動作を選択する場合のスレート・コンテクスト・バンドイットの問題について検討する。
Inverse Propensity Scoring (IPS) の典型的な推定器は、大きな作用空間のためにかなりのばらつきに悩まされる。
我々は,低次元スレート抽象空間における重み付けを規定するラテントIPS (LIPS) と呼ばれる,スレート包帯のOPEの新しい推定器を開発した。
論文 参考訳(メタデータ) (2024-02-03T14:38:09Z) - Towards Practical Robustness Auditing for Linear Regression [8.9598796481325]
データセットの小さなサブセットの存在を発見または否定するアルゴリズムについて検討する。
これらの手法は, 技術の状況を大きく上回り, 数次元における回帰問題の堅牢性チェックに有用であることを示す。
我々は、アルゴリズムの頑健な統計学における最近の革新から引き出されたアイデアを用いて、スペクトルアルゴリズムを用いて、この課題を先導する。
論文 参考訳(メタデータ) (2023-07-30T20:47:36Z) - dugMatting: Decomposed-Uncertainty-Guided Matting [83.71273621169404]
そこで本稿では, 明確に分解された不確かさを探索し, 効率よく効率よく改善する, 分解不確実性誘導型マッチングアルゴリズムを提案する。
提案したマッチングフレームワークは,シンプルで効率的なラベリングを用いて対話領域を決定する必要性を緩和する。
論文 参考訳(メタデータ) (2023-06-02T11:19:50Z) - Fast Exploration of the Impact of Precision Reduction on Spiking Neural
Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。
我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文 参考訳(メタデータ) (2022-11-22T15:08:05Z) - Neural Networks Reduction via Lumping [0.0]
操作数とモデルに関連するパラメータの両方を減らすために、多数のソリューションが公開されている。
これらの還元技術の多くは実際には手法であり、通常、精度を回復するために少なくとも1つの再訓練ステップを必要とする。
データや微調整を使わずにネットワーク内のニューロン数を削減し,正確な動作を完全に保存するプルーニング手法を提案する。
論文 参考訳(メタデータ) (2022-09-15T17:13:07Z) - Calibrating Segmentation Networks with Margin-based Label Smoothing [19.669173092632]
現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。
これらの損失は、ロジット距離に等しい制約を課す線形ペナルティの近似と見なすことができる。
我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
論文 参考訳(メタデータ) (2022-09-09T20:21:03Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - Investigating the Scalability and Biological Plausibility of the
Activation Relaxation Algorithm [62.997667081978825]
アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。
このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。
また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
論文 参考訳(メタデータ) (2020-10-13T08:02:38Z) - Differentiable Causal Discovery from Interventional Data [141.41931444927184]
本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。
提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
論文 参考訳(メタデータ) (2020-07-03T15:19:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。