論文の概要: The Effect of Model Compression on Fairness in Facial Expression Recognition

• arxiv url: http://arxiv.org/abs/2201.01709v1
• Date: Wed, 5 Jan 2022 16:59:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-06 14:14:53.154627
• Title: The Effect of Model Compression on Fairness in Facial Expression Recognition
• Title（参考訳）: 表情認識におけるモデル圧縮が公平性に及ぼす影響
• Authors: Samuil Stoychev and Hatice Gunes
• Abstract要約: 2つの表情データセットで実験を行い、圧縮技術がモデルサイズ、精度、公平性に与える影響を検証した。 実験の結果, (i) 圧縮と量子化は, CK+DBとRAF-DBの両者の総合的精度に最小限の影響を伴って, モデルサイズを著しく減少させ, (ii) モデル精度の面では, RAF-DBで訓練および試験を行った分類器の方が, CK+DBと比較して圧縮に頑健に思える。
• 参考スコア（独自算出の注目度）: 6.47243430672461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have proved hugely successful, achieving human-like performance on a variety of tasks. However, they are also computationally expensive, which has motivated the development of model compression techniques which reduce the resource consumption associated with deep learning models. Nevertheless, recent studies have suggested that model compression can have an adverse effect on algorithmic fairness, amplifying existing biases in machine learning models. With this project we aim to extend those studies to the context of facial expression recognition. To do that, we set up a neural network classifier to perform facial expression recognition and implement several model compression techniques on top of it. We then run experiments on two facial expression datasets, namely the Extended Cohn-Kanade Dataset (CK+DB) and the Real-World Affective Faces Database (RAF-DB), to examine the individual and combined effect that compression techniques have on the model size, accuracy and fairness. Our experimental results show that: (i) Compression and quantisation achieve significant reduction in model size with minimal impact on overall accuracy for both CK+DB and RAF-DB; (ii) in terms of model accuracy, the classifier trained and tested on RAF-DB seems more robust to compression compared to the CK+ DB; (iii) for RAF-DB, the different compression strategies do not seem to increase the gap in predictive performance across the sensitive attributes of gender, race and age which is in contrast with the results on the CK+DB, where compression seems to amplify existing biases for gender. We analyse the results and discuss the potential reasons for our findings.
• Abstract（参考訳）: ディープニューラルネットワークは大きな成功を収め、さまざまなタスクで人間のようなパフォーマンスを達成しています。 しかし、それらもまた計算コストが高く、深層学習モデルに関連する資源消費を減らすモデル圧縮技術の開発を動機付けている。 しかしながら、近年の研究はモデル圧縮がアルゴリズムの公平性に悪影響を及ぼす可能性を示唆しており、機械学習モデルの既存のバイアスを増幅している。 このプロジェクトでは、これらの研究を表情認識の文脈に拡張することを目指している。 そこで我々は,表情認識を行うニューラルネットワーク分類器を設置し,その上に複数のモデル圧縮手法を実装した。 次に,拡張cohn-kanadeデータセット(ck+db)とreal-world affective facesデータベース(raf-db)という2つの顔表情データセットで実験を行い,圧縮技術がモデルサイズ,精度,公平性に与える影響について検討した。 私たちの実験結果は 一 CK+DB及びRAF-DBの総合的精度に最小限の影響を及ぼすことなく、圧縮及び量子化によりモデルサイズが大幅に減少する。 (ii)モデル精度の面では、RAF-DBで訓練・試験された分類器はCK+ DBに比べて圧縮性が高い。 (iii)raf-dbでは、異なる圧縮戦略は、性別、人種、年齢の繊細な属性における予測性能の差を増加させていないように思われる。 結果を分析し,その結果の潜在的原因について考察する。

関連論文リスト

• Compress and Compare: Interactively Evaluating Efficiency and Behavior Across ML Model Compression Experiments [20.360936113552597]
  デバイス上で機械学習モデルをデプロイするには、圧縮アルゴリズムを使用して、高品質なアウトプットを維持しながらモデルを縮小および高速化する。 既存の圧縮ツールは比較を不十分にサポートし、退屈な結果となり、時には不完全な解析が非結合ツールに分散する。 実世界の比較を支援するために,Compress and Compareという対話型ビジュアルシステムを開発した。 コンプレックスとコンプレックスは、圧縮されたモデル間の前兆関係を可視化し、モデルの予測、重み、アクティベーションを比較することで圧縮誘起の挙動変化を明らかにすることで、圧縮戦略を約束する。
  論文  参考訳（メタデータ） (2024-08-06T16:17:51Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• Benchmarking Adversarial Robustness of Compressed Deep Learning Models [15.737988622271219]
  本研究は, 基本モデルの逆入力が刈り取ったバージョンに与える影響を理解することを目的とする。 以上の結果から, 汎用性, 圧縮性, 高速な推論時間は保たれるが, 対向ロバスト性はベースモデルに匹敵することがわかった。
  論文  参考訳（メタデータ） (2023-08-16T06:06:56Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Robustness in Compressed Neural Networks for Object Detection [2.9823962001574182]
  圧縮されたモデルの異なる歪みタイプに対する感度はニュアンス化されている。 いくつかの汚職は圧縮法に大きく影響している。 データ拡張はモデルの堅牢性に肯定的な影響を与えることが確認された。
  論文  参考訳（メタデータ） (2021-02-10T15:52:11Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
  論文  参考訳（メタデータ） (2020-09-15T09:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。