論文の概要: Pruning has a disparate impact on model accuracy

• arxiv url: http://arxiv.org/abs/2205.13574v1
• Date: Thu, 26 May 2022 18:32:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 14:52:35.735443
• Title: Pruning has a disparate impact on model accuracy
• Title（参考訳）: プルーニングはモデルの精度に異なる影響を与える
• Authors: Cuong Tran, Ferdinando Fioretto, Jung-Eun Kim, Rakshit Naidu
• Abstract要約: この論文は、刈り取りが異なる影響を生み出したり、悪化させる可能性があることを示している。 これらの要因を詳細に分析し、理論的および実証的な支援を提供する。 刈り込みによって生じる異なる影響を緩和する、単純で効果的なソリューションを提案する。
• 参考スコア（独自算出の注目度）: 39.44141441279533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network pruning is a widely-used compression technique that is able to significantly scale down overparameterized models with minimal loss of accuracy. This paper shows that pruning may create or exacerbate disparate impacts. The paper sheds light on the factors to cause such disparities, suggesting differences in gradient norms and distance to decision boundary across groups to be responsible for this critical issue. It analyzes these factors in detail, providing both theoretical and empirical support, and proposes a simple, yet effective, solution that mitigates the disparate impacts caused by pruning.
• Abstract（参考訳）: ネットワークプルーニング(Network pruning)は、最小限の精度で過度なパラメータ化モデルを大幅にスケールダウンできる、広く使われている圧縮技術である。 本稿では, 刈り取りが異なる影響を生み出すか, 悪化させる可能性があることを示す。 この論文は、そのような格差を引き起こす要因について光を当て、この重要な問題に責任を持つグループ間の決定境界における勾配規範と距離の違いを示唆している。 これらの要因を詳細に分析し、理論的および実証的なサポートを提供し、刈り込みによる異なる影響を緩和する単純で効果的なソリューションを提案する。

関連論文リスト

• Balancing Act: Constraining Disparate Impact in Sparse Models [20.058720715290434]
  本研究では,プルーニングの異なる影響に直接対処する制約付き最適化手法を提案する。 我々の定式化は、各部分群に対する密度モデルとスパースモデルの間の精度変化を束縛する。 実験により,本手法は大規模モデルや数百の保護されたサブグループに関わる問題に対して確実にスケール可能であることが示された。
  論文  参考訳（メタデータ） (2023-10-31T17:37:35Z)
• Variation-based Cause Effect Identification [5.744133015573047]
  本稿では、因果発見のための変分に基づく原因影響同定(VCEI)フレームワークを提案する。 我々の枠組みは、既存の非循環因果関係を前提として、原因とメカニズムの独立(ICM)の原理に依存している。 因果方向では、このような変動が効果発生機構に影響を与えないことが期待されている。
  論文  参考訳（メタデータ） (2022-11-22T05:19:12Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• How Tempering Fixes Data Augmentation in Bayesian Neural Networks [22.188535244056016]
  テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。 温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
  論文  参考訳（メタデータ） (2022-05-27T11:06:56Z)
• Variance Minimization in the Wasserstein Space for Invariant Causal Prediction [72.13445677280792]
  そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。 これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。 我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2021-10-13T22:30:47Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Robustness in Compressed Neural Networks for Object Detection [2.9823962001574182]
  圧縮されたモデルの異なる歪みタイプに対する感度はニュアンス化されている。 いくつかの汚職は圧縮法に大きく影響している。 データ拡張はモデルの堅牢性に肯定的な影響を与えることが確認された。
  論文  参考訳（メタデータ） (2021-02-10T15:52:11Z)
• Verifying the Causes of Adversarial Examples [5.381050729919025]
  ニューラルネットワークのロバスト性は、入力に対するほとんど知覚できない摂動を含む敵の例によって挑戦される。 本稿では,敵対的事例の潜在的な原因の収集と,慎重に設計された制御実験による検証(あるいは部分的に検証)を行う。 実験の結果, 幾何学的要因はより直接的な原因であり, 統計的要因は現象を増大させることが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-19T16:17:20Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• A Critical View of the Structural Causal Model [89.43277111586258]
  相互作用を全く考慮せずに原因と効果を識別できることが示される。 本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。 我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
  論文  参考訳（メタデータ） (2020-02-23T22:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。