論文の概要: Characterising Bias in Compressed Models

• arxiv url: http://arxiv.org/abs/2010.03058v2
• Date: Fri, 18 Dec 2020 14:03:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:45:38.045696
• Title: Characterising Bias in Compressed Models
• Title（参考訳）: 圧縮モデルにおけるバイアスの特徴付け
• Authors: Sara Hooker, Nyalleng Moorosi, Gregory Clark, Samy Bengio, Emily Denton
• Abstract要約: プルーニングと量子化技術は、トップラインメトリクスに無視できない影響で高いレベルの圧縮を実現する。 我々はこのサブセットをCompression Identified Exemplars (CIE)と呼ぶ。 CIEは比較的小さなサブセットですが、モデルにおけるエラーの大きいコントリビュータです。 本稿では,人間のループ監査ツールとして,データセットの抽出可能なサブセットを探索する手法を提案する。
• 参考スコア（独自算出の注目度）: 20.901725971127973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The popularity and widespread use of pruning and quantization is driven by the severe resource constraints of deploying deep neural networks to environments with strict latency, memory and energy requirements. These techniques achieve high levels of compression with negligible impact on top-line metrics (top-1 and top-5 accuracy). However, overall accuracy hides disproportionately high errors on a small subset of examples; we call this subset Compression Identified Exemplars (CIE). We further establish that for CIE examples, compression amplifies existing algorithmic bias. Pruning disproportionately impacts performance on underrepresented features, which often coincides with considerations of fairness. Given that CIE is a relatively small subset but a great contributor of error in the model, we propose its use as a human-in-the-loop auditing tool to surface a tractable subset of the dataset for further inspection or annotation by a domain expert. We provide qualitative and quantitative support that CIE surfaces the most challenging examples in the data distribution for human-in-the-loop auditing.
• Abstract（参考訳）: プルーニングと量子化の人気と普及は、厳しいレイテンシ、メモリ、エネルギー要求のある環境にディープニューラルネットワークをデプロイするという厳しいリソース制約によって引き起こされる。 これらの技術は、トップラインのメトリクス(トップ1とトップ5の精度)に無視できない影響で高いレベルの圧縮を実現する。 しかし、全体的な精度は、サンプルの小さなサブセットに不釣り合いに高いエラーを隠している。 さらに、CIEの例では、圧縮は既存のアルゴリズムバイアスを増幅する。 プルーニングは不釣り合いにパフォーマンスに過小評価された機能に影響を与え、しばしばフェアネスの考慮と一致する。 CIEは比較的小さなサブセットであるが、モデルにおけるエラーの大きな貢献者であるため、ドメインの専門家によるさらなるインスペクションやアノテーションのために、データセットの抽出可能なサブセットをサーフェスするために、ヒューマン・イン・ザ・ループ監査ツールとしての利用を提案する。 我々は、CIEが人間のループ内監査におけるデータ配信において最も困難な例を提示する定性的かつ定量的な支援を提供する。

関連論文リスト

• EControl: Fast Distributed Optimization with Compression and Error Control [8.624830915051021]
  フィードバック信号の強度を制御できる新しいメカニズムであるEControlを提案する。 EControlは,本手法の素直な実装を緩和し,本研究の成果を裏付けるものである。
  論文  参考訳（メタデータ） (2023-11-06T10:00:13Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Correcting sampling biases via importance reweighting for spatial modeling [2.6862667248315386]
  機械学習モデルでは、分布バイアスによってエラーの見積もりが複雑になることが多い。 本稿では,重要サンプリングの考え方に基づいて,対象誤差の偏りのない推定値を求める手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T15:36:28Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Enhanced Principal Component Analysis under A Collaborative-Robust Framework [89.28334359066258]
  重み学習とロバストな損失を非自明な方法で組み合わせる,一般的な協調ロバスト重み学習フレームワークを提案する。 提案されたフレームワークでは、トレーニング中の重要度を示す適切なサンプルの一部のみがアクティブになり、エラーが大きい他のサンプルは無視されません。 特に、不活性化試料の負の効果はロバスト損失関数によって軽減される。
  論文  参考訳（メタデータ） (2021-03-22T15:17:37Z)
• Robustness in Compressed Neural Networks for Object Detection [2.9823962001574182]
  圧縮されたモデルの異なる歪みタイプに対する感度はニュアンス化されている。 いくつかの汚職は圧縮法に大きく影響している。 データ拡張はモデルの堅牢性に肯定的な影響を与えることが確認された。
  論文  参考訳（メタデータ） (2021-02-10T15:52:11Z)
• Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
  判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。 線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T05:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。