論文の概要: Efficient DNN-Powered Software with Fair Sparse Models
- arxiv url: http://arxiv.org/abs/2407.02805v1
- Date: Wed, 3 Jul 2024 04:52:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 15:35:05.853787
- Title: Efficient DNN-Powered Software with Fair Sparse Models
- Title（参考訳）: フェアスパースモデルを用いた効率的なDNN駆動ソフトウェア
- Authors: Xuanqi Gao, Weipeng Jiang, Juan Zhai, Shiqing Ma, Xiaoyu Zhang, Chao Shen,
- Abstract要約: Lottery Ticket hypothesis (LTH) は一般的なモデルプルーニング手法である。
本稿では,LTHを用いたプルーニングの公平性問題はサブネットワーク選択とトレーニング手順の両方から生じることを示す。
本稿では, 競合検出に基づく新たなサブネットワーク選択手法であるBallotを提案する。
- 参考スコア（独自算出の注目度）: 32.464611304079234
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With the emergence of the Software 3.0 era, there is a growing trend of compressing and integrating large models into software systems, with significant societal implications. Regrettably, in numerous instances, model compression techniques impact the fairness performance of these models and thus the ethical behavior of DNN-powered software. One of the most notable example is the Lottery Ticket Hypothesis (LTH), a prevailing model pruning approach. This paper demonstrates that fairness issue of LTHbased pruning arises from both its subnetwork selection and training procedures, highlighting the inadequacy of existing remedies. To address this, we propose a novel pruning framework, Ballot, which employs a novel conflict-detection-based subnetwork selection to find accurate and fair subnetworks, coupled with a refined training process to attain a high-performance model, thereby improving the fairness of DNN-powered software. By means of this procedure, Ballot improves the fairness of pruning by 38.00%, 33.91%, 17.96%, and 35.82% compared to state-of-the-art baselines, namely Magnitude Pruning, Standard LTH, SafeCompress, and FairScratch respectively, based on our evaluation of five popular datasets and three widely used models. Our code is available at https://anonymous.4open.science/r/Ballot-506E.
- Abstract（参考訳）: Software 3.0時代が出現するにつれ、大きなモデルをソフトウェアシステムに圧縮して統合する傾向が高まり、社会的な意味合いも大きくなっています。
多くの事例において、モデル圧縮技術はこれらのモデルの公平性性能に影響を与え、したがってDNNベースのソフトウェアの倫理的挙動に影響を及ぼす。
最も有名な例として、LTH(Lottery Ticket hypothesis)がある。
本稿では,LTHをベースとしたプルーニングの公平性問題はサブネットワークの選択とトレーニング手順の両方から生じ,既存の治療法の不十分さを浮き彫りにする。
そこで本研究では,新しいプルーニングフレームワークであるBallotを提案し,コンフリクト検出に基づく新たなサブネット選択を用いて,高精度かつ公平なサブネット構築を実現する。
この手順により、Ballotは5つの一般的なデータセットと3つの広く使用されているモデルの評価に基づいて、最先端のベースラインであるMagnitude Pruning、Standard LTH、SafeCompress、FairScratchと比較して、プルーニングの公正性を38.00%、33.91%、17.96%、35.82%改善する。
私たちのコードはhttps://anonymous.4open.science/r/Ballot-506Eで利用可能です。
関連論文リスト
- MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。
本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
論文 参考訳（メタデータ） (2024-11-15T18:57:39Z) - ELMGS: Enhancing memory and computation scaLability through coMpression for 3D Gaussian Splatting [16.373800112150573]
3Dモデルは最近、Neural Radiance Fieldsと3D Gaussian Splatting Modelによって提供されるエンドツーエンドトレーニングの可能性によって普及した。
本稿では,そのようなモデルのメモリと計算のスケーラビリティを両立させる手法を提案する。
一般的なベンチマークでは,提案手法の有効性を実証し,資源制約のあるデバイス上でも,そのようなソリューションの広範な展開可能性への道を開く。
論文 参考訳（メタデータ） (2024-10-30T17:01:28Z) - nnU-Net Revisited: A Call for Rigorous Validation in 3D Medical Image Segmentation [1.5243612944631728]
我々は、最近の多くの主張が、一般的な検証の欠陥について精査したときには、守られていないことを実証する。
現状のパフォーマンスのレシピは,1) ResNet や ConvNeXt など CNN ベースの U-Net モデル,2) nnU-Net フレームワーク,3) 現代的なハードウェアリソースへのモデルスケーリングである。
論文 参考訳（メタデータ） (2024-04-15T08:19:08Z) - Towards Evaluating Transfer-based Attacks Systematically, Practically,
and Fairly [79.07074710460012]
ディープニューラルネットワーク(DNN)の敵対的脆弱性に大きな注目を集めている。
ブラックボックスDNNモデルを騙すための転送ベース手法が増えている。
30以上のメソッドを実装した転送ベースアタックベンチマーク(TA-Bench)を確立する。
論文 参考訳（メタデータ） (2023-11-02T15:35:58Z) - Adaptive Sparsity Level during Training for Efficient Time Series Forecasting with Transformers [20.23085795744602]
textbfAdaptive textbfSparsity textbfPALS(textbfPALS)を提案する。
PALSはスパーストレーニングとトレーニングの方法からインスピレーションを得ている。
スパースニューラルネットワークのトレーニングにおいて、新しい"拡張"メカニズムを導入し、モデルを動的に縮小、拡張、あるいは安定して適切なスパースレベルを見つけることを可能にする。
論文 参考訳（メタデータ） (2023-05-28T06:57:27Z) - Exploring validation metrics for offline model-based optimisation with
diffusion models [50.404829846182764]
モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。
モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。
本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
論文 参考訳（メタデータ） (2022-11-19T16:57:37Z) - Bellman: A Toolbox for Model-Based Reinforcement Learning in TensorFlow [14.422129911404472]
Bellmanはこのギャップを埋めることを目指しており、モデルベースのRLツールボックスを初めて完全に設計し、テストした。
我々のモジュラーアプローチは、幅広い環境モデルと、最先端アルゴリズムを復元する汎用モデルベースのエージェントクラスを組み合わせることができる。
論文 参考訳（メタデータ） (2021-03-26T11:32:27Z) - Probabilistic Case-based Reasoning for Open-World Knowledge Graph
Completion [59.549664231655726]
ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。
本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。
提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
論文 参考訳（メタデータ） (2020-10-07T17:48:12Z) - CorDEL: A Contrastive Deep Learning Approach for Entity Linkage [70.82533554253335]
エンティティリンケージ(EL)は、データのクリーニングと統合において重要な問題である。
新たなデータの増加に伴い、ディープラーニング(DL)ベースのアプローチが提案され、従来のモデルに付随するELの高コスト化が図られている。
我々は、ツインネットワークアーキテクチャはELに準最適であり、既存のモデルに固有の欠点をもたらすと主張している。
論文 参考訳（メタデータ） (2020-09-15T16:33:05Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。