論文の概要: Balancing Act: Constraining Disparate Impact in Sparse Models

• arxiv url: http://arxiv.org/abs/2310.20673v2
• Date: Fri, 8 Mar 2024 00:22:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 23:01:33.415456
• Title: Balancing Act: Constraining Disparate Impact in Sparse Models
• Title（参考訳）: バランシング法:スパースモデルにおける異種影響の制約
• Authors: Meraj Hashemizadeh, Juan Ramirez, Rohan Sukumaran, Golnoosh Farnadi, Simon Lacoste-Julien, Jose Gallego-Posada
• Abstract要約: 本研究では,プルーニングの異なる影響に直接対処する制約付き最適化手法を提案する。 我々の定式化は、各部分群に対する密度モデルとスパースモデルの間の精度変化を束縛する。 実験により,本手法は大規模モデルや数百の保護されたサブグループに関わる問題に対して確実にスケール可能であることが示された。
• 参考スコア（独自算出の注目度）: 20.058720715290434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model pruning is a popular approach to enable the deployment of large deep learning models on edge devices with restricted computational or storage capacities. Although sparse models achieve performance comparable to that of their dense counterparts at the level of the entire dataset, they exhibit high accuracy drops for some data sub-groups. Existing methods to mitigate this disparate impact induced by pruning (i) rely on surrogate metrics that address the problem indirectly and have limited interpretability; or (ii) scale poorly with the number of protected sub-groups in terms of computational cost. We propose a constrained optimization approach that directly addresses the disparate impact of pruning: our formulation bounds the accuracy change between the dense and sparse models, for each sub-group. This choice of constraints provides an interpretable success criterion to determine if a pruned model achieves acceptable disparity levels. Experimental results demonstrate that our technique scales reliably to problems involving large models and hundreds of protected sub-groups.
• Abstract（参考訳）: モデルプルーニングは、計算能力やストレージ容量が制限されたエッジデバイスに大規模なディープラーニングモデルをデプロイするための一般的なアプローチである。 スパースモデルはデータセット全体のレベルで密度の高いそれと同等のパフォーマンスを実現するが、一部のデータサブグループでは高い精度の低下を示す。 刈り込みによるこの異なる影響を緩和する既存の方法 (i)間接的に問題に対処し、解釈可能性に制限のある代理メトリクスに依存すること。 (二)計算コストの点で保護された部分群の数に乏しくスケールする。 我々の定式化は, 各部分群に対して, 密度モデルとスパースモデルの間の精度変化を境界として, プルーニングの異なる影響に直列に対処する制約付き最適化手法を提案する。 この制約の選択は、プルーンドモデルが許容される格差レベルを達成するかどうかを決定するための解釈可能な成功基準を提供する。 実験の結果,本手法は,大規模モデルと数百の保護サブグループに関する問題に対して確実に適用できることがわかった。

関連論文リスト

• Precise Model Benchmarking with Only a Few Observations [6.092112060364272]
  本稿では,各サブグループの直接推定と回帰推定を個別にバランスする経験的ベイズ推定器を提案する。 EBは、直接的および回帰的アプローチと比較して、LCM性能のより正確な推定を一貫して提供する。
  論文  参考訳（メタデータ） (2024-10-07T17:26:31Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Variational Inference with Locally Enhanced Bounds for Hierarchical Models [38.73307745906571]
  本稿では, 階層モデルに対する拡張手法の適用に基づく変分境界の新たなファミリを提案する。 提案手法は,非バイアス勾配にサブサンプリングを用いることが自然に可能であり,より狭い境界を構築する手法のパワーを十分に活用できることを示す。
  論文  参考訳（メタデータ） (2022-03-08T22:53:43Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• MASSIVE: Tractable and Robust Bayesian Learning of Many-Dimensional Instrumental Variable Models [8.271859911016719]
  モデル不確実性を考慮した汎用的かつ効率的な因果推論アルゴリズムを提案する。 いくつかの候補が(近い)有効である限り、どの候補が先験的かを知ることなく、それらの集団が目標との相互作用に十分な制限を課し、信頼できる因果効果の推定を得る。
  論文  参考訳（メタデータ） (2020-12-18T10:06:55Z)
• Learning Consistent Deep Generative Models from Sparse Data via Prediction Constraints [16.48824312904122]
  我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。 これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
  論文  参考訳（メタデータ） (2020-12-12T04:18:50Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。