論文の概要: Linking convolutional kernel size to generalization bias in face analysis CNNs

• arxiv url: http://arxiv.org/abs/2302.03750v2
• Date: Sun, 3 Dec 2023 13:23:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 01:40:10.257368
• Title: Linking convolutional kernel size to generalization bias in face analysis CNNs
• Title（参考訳）: 顔分析CNNにおけるカーネルサイズと一般化バイアスのリンク
• Authors: Hao Liang, Josue Ortega Caro, Vikram Maheshri, Ankit B. Patel, Guha Balakrishnan
• Abstract要約: 本稿では,アーキテクチャ上のハイパーパラメータとアウト・オブ・ディストリビューションアルゴリズムのバイアスを関連付けるための因果的枠組みを提案する。 本実験では,畳み込みカーネルサイズと顔解析の分類バイアスの因果関係の測定に焦点をあてた。 CNNの1層であっても、カーネルサイズを変更することで、学習した特徴の周波数内容がデータサブグループ間で著しく変化することを示す。
• 参考スコア（独自算出の注目度）: 9.030335233143603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training dataset biases are by far the most scrutinized factors when explaining algorithmic biases of neural networks. In contrast, hyperparameters related to the neural network architecture have largely been ignored even though different network parameterizations are known to induce different implicit biases over learned features. For example, convolutional kernel size is known to affect the frequency content of features learned in CNNs. In this work, we present a causal framework for linking an architectural hyperparameter to out-of-distribution algorithmic bias. Our framework is experimental, in that we train several versions of a network with an intervention to a specific hyperparameter, and measure the resulting causal effect of this choice on performance bias when a particular out-of-distribution image perturbation is applied. In our experiments, we focused on measuring the causal relationship between convolutional kernel size and face analysis classification bias across different subpopulations (race/gender), with respect to high-frequency image details. We show that modifying kernel size, even in one layer of a CNN, changes the frequency content of learned features significantly across data subgroups leading to biased generalization performance even in the presence of a balanced dataset.
• Abstract（参考訳）: トレーニングデータセットバイアスは、ニューラルネットワークのアルゴリズムバイアスを説明する際に最も精査された要因である。 対照的に、ニューラルネットワークアーキテクチャに関連するハイパーパラメータは、異なるネットワークパラメータ化が学習した特徴に対して異なる暗黙バイアスを引き起こすことが知られているにもかかわらず、ほとんど無視されている。 例えば、畳み込みカーネルのサイズはcnnで学習された特徴の頻度に影響することが知られている。 本稿では,アーキテクチャハイパーパラメータと分散アルゴリズムバイアスをリンクする因果的フレームワークを提案する。 私たちのフレームワークは実験的であり、特定のハイパーパラメーターに介入したネットワークのいくつかのバージョンをトレーニングし、特定の分散イメージ摂動が適用された場合のパフォーマンスバイアスに対するこの選択の因果効果を測定する。 実験では, コンボリューショナルカーネルサイズと, 異なるサブポピュレーション(レース/ジェンダー)にまたがる顔の分類バイアスの因果関係を, 高周波画像の詳細に関して測定することに着目した。 CNNの1層であっても、カーネルサイズを変更することで、データサブグループ間で学習機能の周波数内容が大幅に変化し、バランスの取れたデータセットが存在する場合でも、偏りのある一般化性能が得られることを示す。

関連論文リスト

• Tailoring the Hyperparameters of a Wide-Kernel Convolutional Neural Network to Fit Different Bearing Fault Vibration Datasets [0.10241134756773229]
  最先端のアルゴリズムは、健康な機械軸受や損傷を受けた機械軸受から発生する振動を識別するのにほぼ完璧であると報告されている。 しかし、新しいデータへの応用はどうだろう? 本稿では, 故障検出のためのニューラルネットワークが, 誤パラメータ化によって損なわれることを確認できる。
  論文  参考訳（メタデータ） (2024-11-19T09:17:13Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
  構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
  論文  参考訳（メタデータ） (2023-04-13T16:58:21Z)
• Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity [0.0]
  偏りのあるデータに基づいて学習した畳み込み型ニューラルネットワークの性能と内部表現構造について検討する。 目的関数にCKA(Centered Kernel Alignment)を用いて,表現の類似性について検討する。 ニューラルネットワークの層間のプログレッシブな表現的類似性がなければ、その性能はロバストになりそうにない。
  論文  参考訳（メタデータ） (2022-11-14T22:17:14Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Spectral Bias and Task-Model Alignment Explain Generalization in Kernel Regression and Infinitely Wide Neural Networks [17.188280334580195]
  トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。 最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。 より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-06-23T17:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。