論文の概要: Towards causally linking architectural parametrizations to algorithmic bias in neural networks

• arxiv url: http://arxiv.org/abs/2302.03750v1
• Date: Tue, 7 Feb 2023 20:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 18:09:09.076692
• Title: Towards causally linking architectural parametrizations to algorithmic bias in neural networks
• Title（参考訳）: ニューラルネットワークにおけるアーキテクチャパラメトリゼーションとアルゴリズムバイアスの因果関係
• Authors: Hao Liang, Josue Ortega Caro, Vikram Maheshri, Ankit B. Patel, Guha Balakrishnan
• Abstract要約: トレーニングデータセットバイアスは、ニューラルネットワークのアルゴリズムバイアスを説明する際に最も精査された要因である。 本研究では、CNNの1層であっても、CNNハイパーパラメータ(畳み込みカーネルサイズ)を変更することで、学習した特徴(周波数内容)の基本的な特性を変えるだけでなく、データサブグループ(レース/ジェンダー人口)間で、この変化が著しく変化することを示す。 我々のフレームワークは実験的であり、ネットワークの複数のバージョンは特定のハイパーパラメータへの介入で訓練され、その結果、この選択がパフォーマンスバイアスに与える影響を測定する。
• 参考スコア（独自算出の注目度）: 8.200529652827429
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Training dataset biases are by far the most scrutinized factors when explaining algorithmic biases of neural networks. In contrast, hyperparameters related to the neural network architecture, e.g., the number of layers or choice of activation functions, have largely been ignored even though different network parameterizations are known to induce different implicit biases over learned features. For example, convolutional kernel size has been shown to bias CNNs towards different frequencies. In order to study the effect of these hyperparameters, we designed a causal framework for linking an architectural hyperparameter to algorithmic bias. Our framework is experimental, in that several versions of a network are trained with an intervention to a specific hyperparameter, and the resulting causal effect of this choice on performance bias is measured. We focused on the causal relationship between sensitivity to high-frequency image details and face analysis classification performance across different subpopulations (race/gender). In this work, we show that modifying a CNN hyperparameter (convolutional kernel size), even in one layer of a CNN, will not only change a fundamental characteristic of the learned features (frequency content) but that this change can vary significantly across data subgroups (race/gender populations) leading to biased generalization performance even in the presence of a balanced dataset.
• Abstract（参考訳）: トレーニングデータセットバイアスは、ニューラルネットワークのアルゴリズムバイアスを説明する際に最も精査された要因である。 対照的に、ニューラルネットワークアーキテクチャに関連するハイパーパラメータ(例えば、レイヤの数やアクティベーション関数の選択など)は、異なるネットワークパラメータ化が学習した特徴に対して異なる暗黙バイアスを引き起こすことが知られているにもかかわらず、ほとんど無視されている。 例えば、畳み込みカーネルのサイズはcnnを異なる周波数に偏らせることが示されている。 これらのハイパーパラメータの効果を研究するために,アーキテクチャハイパーパラメータをアルゴリズムバイアスにリンクするための因果的枠組みを設計した。 我々のフレームワークは実験的であり、ネットワークのいくつかのバージョンは特定のハイパーパラメーターに介入してトレーニングされ、この選択によるパフォーマンスバイアスに対する因果効果が測定される。 我々は,高頻度画像に対する感度と,異なるサブポピュレーション(レース/ジェンダー)における顔分析性能の因果関係に着目した。 本研究では,cnnの1層であっても,cnnハイパーパラメータ(畳み込みカーネルサイズ)を変更することで,学習された特徴(頻度コンテンツ)の基本特性を変化させるだけでなく,この変化がデータサブグループ(競合/生成者集団)間で著しく変化し,バランスの取れたデータセットが存在する場合でも偏りのある一般化性能をもたらすことを示す。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
  構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
  論文  参考訳（メタデータ） (2023-04-13T16:58:21Z)
• Increasing biases can be more efficient than increasing weights [33.05856234084821]
  ユニットは、あるユニットから次のユニットに渡されるときに、非破壊的な情報を保存することの重要性を強調します。 重みよりもバイアスの増加に焦点を当てることで、ニューラルネットワークモデルの性能が大幅に向上する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-01-03T01:36:31Z)
• Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity [0.0]
  偏りのあるデータに基づいて学習した畳み込み型ニューラルネットワークの性能と内部表現構造について検討する。 目的関数にCKA(Centered Kernel Alignment)を用いて,表現の類似性について検討する。 ニューラルネットワークの層間のプログレッシブな表現的類似性がなければ、その性能はロバストになりそうにない。
  論文  参考訳（メタデータ） (2022-11-14T22:17:14Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Spectral Bias and Task-Model Alignment Explain Generalization in Kernel Regression and Infinitely Wide Neural Networks [17.188280334580195]
  トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。 最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。 より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-06-23T17:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。