論文の概要: Coupling Fairness and Pruning in a Single Run: a Bi-level Optimization Perspective

• arxiv url: http://arxiv.org/abs/2312.10181v1
• Date: Fri, 15 Dec 2023 20:08:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 18:14:19.231288
• Title: Coupling Fairness and Pruning in a Single Run: a Bi-level Optimization Perspective
• Title（参考訳）: 単一実行時のフェアネスとプルーニングのカップリング:双方向最適化の視点
• Authors: Yucong Dai, Gen Li, Feng Luo, Xiaolong Ma, Yongkai Wu
• Abstract要約: 本研究では, プルーニングマスクと重み更新処理を公平性制約で協調的に最適化する枠組みを提案する。 このフレームワークは、単一実行時の公平性を確保しながら、パフォーマンスを維持するモデルを圧縮するように設計されている。 我々の経験的分析は、我々のフレームワークといくつかの主流プルーニング戦略を対比し、モデルフェアネス、パフォーマンス、効率の維持における我々の方法の優位性を強調している。
• 参考スコア（独自算出の注目度）: 17.394732703591462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have demonstrated remarkable performance in various tasks. With a growing need for sparse deep learning, model compression techniques, especially pruning, have gained significant attention. However, conventional pruning techniques can inadvertently exacerbate algorithmic bias, resulting in unequal predictions. To address this, we define a fair pruning task where a sparse model is derived subject to fairness requirements. In particular, we propose a framework to jointly optimize the pruning mask and weight update processes with fairness constraints. This framework is engineered to compress models that maintain performance while ensuring fairness in a single execution. To this end, we formulate the fair pruning problem as a novel constrained bi-level optimization task and derive efficient and effective solving strategies. We design experiments spanning various datasets and settings to validate our proposed method. Our empirical analysis contrasts our framework with several mainstream pruning strategies, emphasizing our method's superiority in maintaining model fairness, performance, and efficiency.
• Abstract（参考訳）: ディープニューラルネットワークは様々なタスクで顕著なパフォーマンスを示している。 疎いディープラーニングの必要性が高まっているため、モデル圧縮技術(特に刈り込み)が注目されている。 しかし、従来の刈り取り技術はアルゴリズムバイアスを不用意に悪化させ、不平等な予測をもたらす。 これを解決するために,スパースモデルがフェアネス要件に基づいて導出されるフェアプルーニングタスクを定義する。 特に,プルーニングマスクと重み更新処理を公平性制約で協調的に最適化する枠組みを提案する。 このフレームワークは、単一実行における公平性を確保しながら、パフォーマンスを維持するモデルを圧縮するように設計されている。 この目的のために,新しい制約付き二レベル最適化タスクとしてフェアプルーニング問題を定式化し,効率的かつ効果的な解法を導出する。 提案手法を検証するために,様々なデータセットと設定にまたがる実験を設計する。 我々の実証分析では, モデルフェア性, 性能, 効率の維持において, 提案手法が優れていることを強調し, 主観的な刈り取り戦略と対比した。

関連論文リスト

• Selective Mixup Fine-Tuning for Optimizing Non-Decomposable Objectives [17.10165955576643]
  現在の最先端の実証技術は、実用的で非分解不能な性能目標に対して、準最適性能を提供する。 本稿では,SelMixを提案する。SelMixは,事前学習モデルに対して,選択型ミキサアップに基づく安価な微調整技術である。 提案したSelMixファインタニングにより,ベンチマーク間での様々な非分解性目標の性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-27T06:55:23Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints [69.27190330994635]
  コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。 本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。 実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
  論文  参考訳（メタデータ） (2023-11-15T03:43:04Z)
• Pseudo-Bayesian Optimization [7.556071491014536]
  ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。 我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-15T07:55:28Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Fast as CHITA: Neural Network Pruning with Combinatorial Optimization [9.440450886684603]
  本稿では,複数重みの重み付けと重み付けの併用効果を両立する最適化型プルーニングフレームワークを提案する。 我々のアプローチであるCHITAは、古典的なBrain Surgeonフレームワークを拡張し、スピード、メモリ、パフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2023-02-28T15:03:18Z)
• Towards Optimal Compression: Joint Pruning and Quantization [1.191194620421783]
  本稿では,FITCompressについて紹介する。FITCompressは層単位での混合精度の量子化と非構造化プルーニングを組み合わせた新しい手法である。 コンピュータビジョンと自然言語処理ベンチマークの実験により,提案手法が優れた圧縮性能のトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2023-02-15T12:02:30Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Adapting by Pruning: A Case Study on BERT [9.963251767416967]
  対象タスクの性能を最適化するために,事前学習したモデルの神経接続をpruneするプラニングにより適応する新しいモデル適応パラダイムを提案する。 本稿では, 最適化問題として適応分割法を定式化し, モデル作成のための効率的なアルゴリズムを提案する。 以上の結果から,提案手法は細調整フルモデルと同等の性能を示しながら,BERTの最大50%の重み付けが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-07T15:51:08Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Beyond Individual and Group Fairness [90.4666341812857]
  本稿では,不公平な不公平な苦情に導かれる公平さの新しいデータ駆動モデルを提案する。 我々のモデルは、複数のフェアネス基準をサポートし、それらの潜在的な不整合を考慮に入れている。
  論文  参考訳（メタデータ） (2020-08-21T14:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。