論文の概要: Debiasing surgeon: fantastic weights and how to find them

• arxiv url: http://arxiv.org/abs/2403.14200v1
• Date: Thu, 21 Mar 2024 07:50:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 15:07:37.461846
• Title: Debiasing surgeon: fantastic weights and how to find them
• Title（参考訳）: デバイアスング外科医:素晴らしい体重とそれを見つける方法
• Authors: Rémi Nahon, Ivan Luiz De Moura Matos, Van-Tam Nguyen, Enzo Tartaglione,
• Abstract要約: 本研究では,バニラ学習モデルからサブネットワークを抽出できることを示す。 このような特定のアーキテクチャが特定のバイアスを学習できないことを検証する。
• 参考スコア（独自算出の注目度）: 5.373015313199385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays an ever-growing concerning phenomenon, the emergence of algorithmic biases that can lead to unfair models, emerges. Several debiasing approaches have been proposed in the realm of deep learning, employing more or less sophisticated approaches to discourage these models from massively employing these biases. However, a question emerges: is this extra complexity really necessary? Is a vanilla-trained model already embodying some ``unbiased sub-networks'' that can be used in isolation and propose a solution without relying on the algorithmic biases? In this work, we show that such a sub-network typically exists, and can be extracted from a vanilla-trained model without requiring additional training. We further validate that such specific architecture is incapable of learning a specific bias, suggesting that there are possible architectural countermeasures to the problem of biases in deep neural networks.
• Abstract（参考訳）: 今日では、不公平なモデルに繋がるアルゴリズムバイアスの出現という現象が絶え間ない。 深層学習の領域では、これらのモデルがこれらのバイアスを大量に活用することを防ぐために、多かれ少なかれ洗練されたアプローチが提案されている。 しかし、この余分な複雑さは本当に必要か? バニラでトレーニングされたモデルは、独立して使用でき、アルゴリズムのバイアスに頼らずにソリューションを提案することのできる、すでに ''unbiased sub-networks'' を具現化したものなのだろうか? 本研究では,このようなサブネットワークが典型的に存在し,付加的なトレーニングを必要とせず,バニラ学習モデルから抽出できることを示す。 さらに、そのような特定のアーキテクチャが特定のバイアスを学習できないことを検証し、ディープニューラルネットワークのバイアス問題に対するアーキテクチャ上の対策が考えられることを示唆する。

関連論文リスト

• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Rethinking Bias Mitigation: Fairer Architectures Make for Fairer Face Recognition [107.58227666024791]
  顔認識システムは、法執行を含む安全クリティカルなアプリケーションに広くデプロイされている。 彼らは、性別や人種など、様々な社会的デデノグラフィー次元に偏見を示す。 バイアス軽減に関するこれまでの研究は、主にトレーニングデータの事前処理に重点を置いていた。
  論文  参考訳（メタデータ） (2022-10-18T15:46:05Z)
• Training Debiased Subnetworks with Contrastive Weight Pruning [45.27261440157806]
  我々は、未バイアスのスパイラスワークの探索において、既存のアルゴリズムの潜在的な制限を警告する理論的な洞察を示す。 そこで我々は,構造学習におけるバイアス強調サンプルの重要性を解明した。 これらの観測により,高価なグループアノテーションを使わずに非バイアス処理を探索するDCWPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-11T08:25:47Z)
• Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
  ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。 我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。 我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:51:50Z)
• The rise of the lottery heroes: why zero-shot pruning is hard [3.1473798197405944]
  ディープラーニング最適化の最近の進歩は、モデルのトレーニングを成功させるためには、パラメータのサブセットが本当に必要であることを示している。 トレーニング可能なサブネットワークを見つけるのは通常、コストがかかるプロセスです。 ディープラーニングモデルにおける学習されたサブグラフ構造は、トレーニング時に見つけることができるか?
  論文  参考訳（メタデータ） (2022-02-24T22:49:36Z)
• Using Pareto Simulated Annealing to Address Algorithmic Bias in Machine Learning [2.055949720959582]
  バランスの取れた精度と過小評価の両方を最適化する多目的最適化戦略を提案する。 我々は,この戦略の有効性を,1つの実世界のデータセットと2つの実世界のデータセットに示す。
  論文  参考訳（メタデータ） (2021-05-31T15:51:43Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• EnD: Entangling and Disentangling deep representations for bias correction [7.219077740523682]
  本稿では,深層モデルが望ましくないバイアスを学習することを防止するための正規化戦略であるEnDを提案する。 特に、深層ニューラルネットワークの特定のポイントに「情報のボトルネック」を挿入し、バイアスに関する情報を分離する。 実験によると、EnDは偏りのないテストセットの一般化を効果的に改善する。
  論文  参考訳（メタデータ） (2021-03-02T20:55:42Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。