論文の概要: Integrating Fairness and Model Pruning Through Bi-level Optimization
- arxiv url: http://arxiv.org/abs/2312.10181v2
- Date: Sat, 29 Mar 2025 01:56:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 14:32:01.583539
- Title: Integrating Fairness and Model Pruning Through Bi-level Optimization
- Title（参考訳）: 2レベル最適化によるフェアネスとモデルプルーニングの統合
- Authors: Yucong Dai, Gen Li, Feng Luo, Xiaolong Ma, Yongkai Wu,
- Abstract要約: フェアネス基準に準拠したスパースモデルを開発することを含む、フェアモデルプルーニングという新しい概念を導入する。
特に,プルーニングマスクと重み更新処理を公平性制約で協調的に最適化する枠組みを提案する。
このフレームワークは、統一されたプロセスにおける公正性を確保しながら、パフォーマンスを維持するモデルを圧縮するように設計されている。
- 参考スコア（独自算出の注目度）: 16.213634992886384
- License:
- Abstract: Deep neural networks have achieved exceptional results across a range of applications. As the demand for efficient and sparse deep learning models escalates, the significance of model compression, particularly pruning, is increasingly recognized. Traditional pruning methods, however, can unintentionally intensify algorithmic biases, leading to unequal prediction outcomes in critical applications and raising concerns about the dilemma of pruning practices and social justice. To tackle this challenge, we introduce a novel concept of fair model pruning, which involves developing a sparse model that adheres to fairness criteria. In particular, we propose a framework to jointly optimize the pruning mask and weight update processes with fairness constraints. This framework is engineered to compress models that maintain performance while ensuring fairness in a unified process. To this end, we formulate the fair pruning problem as a novel constrained bi-level optimization task and derive efficient and effective solving strategies. We design experiments across various datasets and scenarios to validate our proposed method. Our empirical analysis contrasts our framework with several mainstream pruning strategies, emphasizing our method's superiority in maintaining model fairness, performance, and efficiency.
- Abstract（参考訳）: ディープニューラルネットワークは、様々なアプリケーションで例外的な結果を得た。
効率的でスパースなディープラーニングモデルの需要が増大するにつれて、モデル圧縮の重要性、特に刈り込みの重要性がますます認識されている。
しかし、従来のプルーニング手法はアルゴリズムのバイアスを意図せずに強化し、重要な応用において不平等な予測結果をもたらし、プルーニングの実践と社会的正義のジレンマに関する懸念を提起する。
この課題に対処するために、フェアネス基準に準拠したスパースモデルを開発することを含むフェアモデルプルーニングという新しい概念を導入する。
特に,プルーニングマスクと重み更新処理を公平性制約で協調的に最適化する枠組みを提案する。
このフレームワークは、統一されたプロセスにおける公正性を確保しながら、パフォーマンスを維持するモデルを圧縮するように設計されている。
この目的のために、フェアプルーニング問題を制約付き二段階最適化タスクとして定式化し、効率的かつ効率的な解法を導出する。
提案手法を検証するために,様々なデータセットやシナリオにまたがる実験を設計する。
我々の経験的分析は、我々のフレームワークといくつかの主流プルーニング戦略を対比し、モデルフェアネス、パフォーマンス、効率の維持における我々の方法の優位性を強調している。
関連論文リスト
- A First-order Generative Bilevel Optimization Framework for Diffusion Models [57.40597004445473]
拡散モデルは、データサンプルを反復的に分解して高品質な出力を合成する。
従来の二値法は無限次元の確率空間と禁制的なサンプリングコストのために失敗する。
我々はこの問題を生成的二段階最適化問題として定式化する。
従来の2段階法と拡散過程の非互換性を克服する。
論文 参考訳（メタデータ） (2025-02-12T21:44:06Z) - Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [74.02034188307857]
複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。
既存の手法は必然的にタスク固有の情報を破棄し、競合の原因となっているが、パフォーマンスには不可欠である。
我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
論文 参考訳（メタデータ） (2025-01-02T12:45:21Z) - Lossless Model Compression via Joint Low-Rank Factorization Optimization [3.318320512635214]
低ランク因子化(low-rank factorization)は、近似行列と元の重み行列の間の誤差$delta$を最小化する一般的なモデル圧縮手法である。
$delta$が最適化されたとき、オリジナルのモデルに近いパフォーマンスを達成するが、低ランクの分解とモデルパフォーマンスの分離によるパフォーマンスの相違は残る。
我々は、損失のない低ランクの重み分解のための新しい共同最適化戦略を導入する。
論文 参考訳（メタデータ） (2024-12-09T09:37:54Z) - Selective Mixup Fine-Tuning for Optimizing Non-Decomposable Objectives [17.10165955576643]
現在の最先端の実証技術は、実用的で非分解不能な性能目標に対して、準最適性能を提供する。
本稿では,SelMixを提案する。SelMixは,事前学習モデルに対して,選択型ミキサアップに基づく安価な微調整技術である。
提案したSelMixファインタニングにより,ベンチマーク間での様々な非分解性目標の性能が大幅に向上することがわかった。
論文 参考訳（メタデータ） (2024-03-27T06:55:23Z) - Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。
本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。
提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
論文 参考訳（メタデータ） (2024-03-20T00:41:12Z) - Refined Coreset Selection: Towards Minimal Coreset Size under Model
Performance Constraints [69.27190330994635]
コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。
本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。
実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
論文 参考訳（メタデータ） (2023-11-15T03:43:04Z) - Pseudo-Bayesian Optimization [7.556071491014536]
ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。
我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-15T07:55:28Z) - Gradient constrained sharpness-aware prompt learning for vision-language
models [99.74832984957025]
本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。
最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。
本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
論文 参考訳（メタデータ） (2023-09-14T17:13:54Z) - Towards Optimal Compression: Joint Pruning and Quantization [1.191194620421783]
本稿では,FITCompressについて紹介する。FITCompressは層単位での混合精度の量子化と非構造化プルーニングを組み合わせた新しい手法である。
コンピュータビジョンと自然言語処理ベンチマークの実験により,提案手法が優れた圧縮性能のトレードオフを実現することを示す。
論文 参考訳（メタデータ） (2023-02-15T12:02:30Z) - Adapting by Pruning: A Case Study on BERT [9.963251767416967]
対象タスクの性能を最適化するために,事前学習したモデルの神経接続をpruneするプラニングにより適応する新しいモデル適応パラダイムを提案する。
本稿では, 最適化問題として適応分割法を定式化し, モデル作成のための効率的なアルゴリズムを提案する。
以上の結果から,提案手法は細調整フルモデルと同等の性能を示しながら,BERTの最大50%の重み付けが可能であることが示唆された。
論文 参考訳（メタデータ） (2021-05-07T15:51:08Z) - Beyond Individual and Group Fairness [90.4666341812857]
本稿では,不公平な不公平な苦情に導かれる公平さの新しいデータ駆動モデルを提案する。
我々のモデルは、複数のフェアネス基準をサポートし、それらの潜在的な不整合を考慮に入れている。
論文 参考訳（メタデータ） (2020-08-21T14:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。