論文の概要: A Fair Loss Function for Network Pruning
- arxiv url: http://arxiv.org/abs/2211.10285v1
- Date: Fri, 18 Nov 2022 15:17:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 15:54:29.116748
- Title: A Fair Loss Function for Network Pruning
- Title（参考訳）: ネットワークプルーニングのための公平な損失関数
- Authors: Robbie Meyer and Alexander Wong
- Abstract要約: 本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。
偏見分類器を用いた顔分類と皮膚記述分類タスクの実験により,提案手法が簡便かつ効果的なツールであることを実証した。
- 参考スコア（独自算出の注目度）: 93.0013343535411
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model pruning can enable the deployment of neural networks in environments
with resource constraints. While pruning may have a small effect on the overall
performance of the model, it can exacerbate existing biases into the model such
that subsets of samples see significantly degraded performance. In this paper,
we introduce the performance weighted loss function, a simple modified
cross-entropy loss function that can be used to limit the introduction of
biases during pruning. Experiments using biased classifiers for facial
classification and skin-lesion classification tasks demonstrate that the
proposed method is a simple and effective tool that can enable existing pruning
methods to be used in fairness sensitive contexts.
- Abstract（参考訳）: モデルプルーニングは、リソース制約のある環境におけるニューラルネットワークのデプロイを可能にする。
プルーニングはモデル全体の性能に小さな影響を与えるかもしれないが、サンプルのサブセットが著しく劣化した性能を示すように、既存のバイアスをモデルに高めることができる。
本稿では, プルーニング中のバイアスの導入を制限するために, 簡易に改良されたクロスエントロピー損失関数であるパフォーマンス重み付き損失関数を提案する。
偏見分類器を用いた顔の分類と皮膚位置分類タスクの実験により, 提案手法は, 既存プルーニング手法を公平さに配慮した文脈で使用できる簡易かつ効果的なツールであることが示された。
関連論文リスト
- FGP: Feature-Gradient-Prune for Efficient Convolutional Layer Pruning [16.91552023598741]
本稿では,FGP (Feature-Gradient Pruning) と呼ばれる新しいプルーニング手法を提案する。
特徴に基づく情報と勾配に基づく情報を統合し、様々なターゲットクラスにおけるチャネルの重要性をより効果的に評価する。
複数のタスクやデータセットにまたがる実験により、FGPは計算コストを大幅に削減し、精度損失を最小化することが示された。
論文 参考訳（メタデータ） (2024-11-19T08:42:15Z) - SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。
本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文 参考訳（メタデータ） (2024-07-23T20:34:23Z) - Reactive Model Correction: Mitigating Harm to Task-Relevant Features via Conditional Bias Suppression [12.44857030152608]
ディープニューラルネットワークは、高リスクアプリケーションにおいて致命的な結果をもたらす可能性のあるトレーニングデータにおいて、学習と急激な相関に依存する傾向があります。
余剰訓練を伴わずにポストホックに適用できる有害な特徴に対するモデル依存を抑制するための様々なアプローチが提案されている。
本稿では,モデル由来の知識とeXplainable Artificial Intelligence(XAI)の洞察に基づくリアクティブアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-15T09:16:49Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳（メタデータ） (2022-09-07T01:12:11Z) - Fine-grained Retrieval Prompt Tuning [149.9071858259279]
微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。
学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-29T04:10:04Z) - Role of Orthogonality Constraints in Improving Properties of Deep
Networks for Image Classification [8.756814963313804]
物理に基づく潜在表現からシンプルな仮定で現れる直交球正則化器(OS)を提案する。
さらに単純化された仮定の下では、OS制約は単純な正則項として閉形式で書かれ、クロスエントロピー損失関数と共に用いられる。
4つのベンチマークデータセットに対して定量的かつ質的な結果を提供することにより,提案OSの正規化の有効性を実証する。
論文 参考訳（メタデータ） (2020-09-22T18:46:05Z) - Salvage Reusable Samples from Noisy Data for Robust Learning [70.48919625304]
本稿では,Web画像を用いた深部FGモデルのトレーニングにおいて,ラベルノイズに対処するための再利用可能なサンプル選択と修正手法を提案する。
私たちのキーとなるアイデアは、再利用可能なサンプルの追加と修正を行い、それらをクリーンな例とともに活用してネットワークを更新することです。
論文 参考訳（メタデータ） (2020-08-06T02:07:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。