論文の概要: Last-Layer Fairness Fine-tuning is Simple and Effective for Neural Networks

• arxiv url: http://arxiv.org/abs/2304.03935v2
• Date: Fri, 14 Jul 2023 22:23:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 22:40:34.301542
• Title: Last-Layer Fairness Fine-tuning is Simple and Effective for Neural Networks
• Title（参考訳）: ニューラルネットワークのためのLast-Layer Fairness Fine-tuning
• Authors: Yuzhen Mao, Zhun Deng, Huaxiu Yao, Ting Ye, Kenji Kawaguchi, James Zou
• Abstract要約: 我々は、公正なニューラルネットワークを効率的かつ安価に訓練するためのフレームワークを開発する。 最後の層微細チューニングだけでは、ディープニューラルネットワークの公平性を効果的に促進できる。
• 参考スコア（独自算出の注目度）: 36.182644157139144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine learning has been deployed ubiquitously across applications in modern data science, algorithmic fairness has become a great concern. Among them, imposing fairness constraints during learning, i.e. in-processing fair training, has been a popular type of training method because they don't require accessing sensitive attributes during test time in contrast to post-processing methods. While this has been extensively studied in classical machine learning models, their impact on deep neural networks remains unclear. Recent research has shown that adding fairness constraints to the objective function leads to severe over-fitting to fairness criteria in large models, and how to solve this challenge is an important open question. To tackle this, we leverage the wisdom and power of pre-training and fine-tuning and develop a simple but novel framework to train fair neural networks in an efficient and inexpensive way -- last-layer fine-tuning alone can effectively promote fairness in deep neural networks. This framework offers valuable insights into representation learning for training fair neural networks.
• Abstract（参考訳）: 機械学習は、現代のデータサイエンスのアプリケーション間でユビキタスに展開されているため、アルゴリズムの公平性が大きな関心事となっている。 その中でも,学習中にフェアネス制約を課すこと,すなわちインプロセスフェアトレーニングは,ポストプロセッシング法とは対照的にテスト時間中に機密属性にアクセスする必要がないため,一般的なトレーニング手法である。 これは古典的機械学習モデルで広く研究されているが、ディープニューラルネットワークへの影響はいまだに不明である。 近年の研究では、目的関数に公平性制約を加えると、大規模モデルにおける公平性基準に厳しい過剰フィットを生じさせ、この課題を解決する方法が重要な疑問となっている。 これに取り組むために、事前学習と微調整の知恵と力を活用し、より効率的で安価な方法で公正なニューラルネットワークをトレーニングするための、シンプルだが斬新なフレームワークを開発する。 このフレームワークは、公平なニューラルネットワークをトレーニングするための表現学習に有用な洞察を提供する。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Set-Based Training for Neural Network Verification [8.97708612393722]
  小さな入力摂動はニューラルネットワークの出力に大きな影響を与える。 安全クリティカルな環境では、入力はノイズの多いセンサーデータを含むことが多い。 我々は、堅牢なニューラルネットワークをトレーニングして正式な検証を行う、エンドツーエンドのセットベーストレーニング手順を採用している。
  論文  参考訳（メタデータ） (2024-01-26T15:52:41Z)
• NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
  シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。 ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。 我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
  論文  参考訳（メタデータ） (2023-10-08T12:33:42Z)
• FETA: Fairness Enforced Verifying, Training, and Predicting Algorithms for Neural Networks [9.967054059014691]
  ニューラルネットワークモデルの個々の公正性を検証し、トレーニングし、保証する問題について検討する。 フェアネスを強制する一般的なアプローチは、フェアネスの概念をモデルのパラメータに関する制約に変換することである。 本研究では,予測時の公正性制約を確実に実施するための逆例誘導後処理手法を開発した。
  論文  参考訳（メタデータ） (2022-06-01T15:06:11Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Probabilistic Verification of Neural Networks Against Group Fairness [21.158245095699456]
  本稿では,ニューラルネットワークの公正性に対する公式な検証手法を提案する。 提案手法は,ユーザが提供するニューラルネットワークからマルコフ連鎖を学習するためのアプローチに基づいている。 分析の結果、神経重みは公平性を改善するために最適化できることが実証された。
  論文  参考訳（メタデータ） (2021-07-18T04:34:31Z)
• Technical Challenges for Training Fair Neural Networks [62.466658247995404]
  最先端のアーキテクチャを用いて顔認識と自動診断データセットの実験を行います。 我々は、大きなモデルは公平さの目標に過度に適合し、意図しない、望ましくない結果を生み出すことを観察する。
  論文  参考訳（メタデータ） (2021-02-12T20:36:45Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• A Principle of Least Action for the Training of Neural Networks [10.342408668490975]
  ネットワークの輸送マップに低運動エネルギー偏差バイアスが存在することを示し、このバイアスと一般化性能を関連づける。 本稿では,与えられたタスクの複雑さに自動的に適応する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T15:37:34Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。