論文の概要: Fairer and More Accurate Tabular Models Through NAS
- arxiv url: http://arxiv.org/abs/2310.12145v1
- Date: Wed, 18 Oct 2023 17:56:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-19 15:26:58.893413
- Title: Fairer and More Accurate Tabular Models Through NAS
- Title(参考訳): NASによるより公平で正確な語彙モデル
- Authors: Richeek Das, Samuel Dooley
- Abstract要約: 本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。
我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。
公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
- 参考スコア(独自算出の注目度): 14.147928131445852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Making models algorithmically fairer in tabular data has been long studied,
with techniques typically oriented towards fixes which usually take a neural
model with an undesirable outcome and make changes to how the data are
ingested, what the model weights are, or how outputs are processed. We employ
an emergent and different strategy where we consider updating the model's
architecture and training hyperparameters to find an entirely new model with
better outcomes from the beginning of the debiasing procedure. In this work, we
propose using multi-objective Neural Architecture Search (NAS) and
Hyperparameter Optimization (HPO) in the first application to the very
challenging domain of tabular data. We conduct extensive exploration of
architectural and hyperparameter spaces (MLP, ResNet, and FT-Transformer)
across diverse datasets, demonstrating the dependence of accuracy and fairness
metrics of model predictions on hyperparameter combinations. We show that
models optimized solely for accuracy with NAS often fail to inherently address
fairness concerns. We propose a novel approach that jointly optimizes
architectural and training hyperparameters in a multi-objective constraint of
both accuracy and fairness. We produce architectures that consistently Pareto
dominate state-of-the-art bias mitigation methods either in fairness, accuracy
or both, all of this while being Pareto-optimal over hyperparameters achieved
through single-objective (accuracy) optimization runs. This research
underscores the promise of automating fairness and accuracy optimization in
deep learning models.
- Abstract(参考訳): グラフデータのアルゴリズムによる公平化は長年研究されてきたが、通常は、望ましくない結果でニューラルモデルを取り、データの取り込み方法、モデルの重み付け、出力の処理方法を変えるような修正に向けられている。
我々は、モデルアーキテクチャの更新とハイパーパラメータのトレーニングを考慮し、デバイアス手順の開始からよりよい結果が得られる完全に新しいモデルを見つけるための、創発的で異なる戦略を採用しています。
本研究では,多目的ニューラルアーキテクチャ探索 (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。
アーキテクチャとハイパーパラメータ空間(MLP, ResNet, FT-Transformer)を多種多様なデータセットにわたって広範囲に探索し、ハイパーパラメータの組み合わせに対するモデル予測の精度と公正度指標の依存性を示す。
nasによる精度のみに最適化されたモデルは、本来フェアネスの懸念に対処できないことが多い。
提案手法は,高精度かつ公正な多目的制約の下で,建築パラメータとトレーニングパラメータを協調的に最適化する手法である。
単一目的(精度)最適化の実行によって達成されるハイパーパラメータよりもパレート最適でありながら、公平性、正確性、あるいは両方においてパレートが常に最先端バイアス緩和手法を支配しているアーキテクチャを創出する。
この研究は、ディープラーニングモデルにおける公正性と精度の最適化を自動化するという約束を裏付けるものである。
関連論文リスト
- Simulated Overparameterization [35.12611686956487]
SOP(Simulated Overparametrization)と呼ばれる新しいパラダイムを導入する。
SOPは、モデルトレーニングと推論に対するユニークなアプローチを提案し、パラメータのより小さく効率的なサブセットが推論中の実際の計算に使用されるように、非常に多くのパラメータを持つモデルを訓練する。
本稿では,トランスフォーマーモデルを含む主要なアーキテクチャとシームレスに統合する,新しいアーキテクチャ非依存のアルゴリズム"Majority kernels"を提案する。
論文 参考訳(メタデータ) (2024-02-07T17:07:41Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-05-30T10:07:17Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳(メタデータ) (2022-11-28T17:41:48Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2022-01-27T21:38:53Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳(メタデータ) (2021-07-14T17:55:28Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳(メタデータ) (2021-06-01T19:19:49Z) - AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with
Autotuned Data-Parallel Training for Tabular Data [11.552769149674544]
大規模データセットに対する高性能な予測モデルの開発は難しい課題である。
最近の自動機械学習(AutoML)は、予測モデル開発を自動化するための有望なアプローチとして現れている。
我々は,老化進化(AgE)とニューラルアーキテクチャ空間を探索する並列NAS法を組み合わせたAgEBO-Tabularを開発した。
論文 参考訳(メタデータ) (2020-10-30T16:28:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。