論文の概要: Scalar Invariant Networks with Zero Bias

• arxiv url: http://arxiv.org/abs/2211.08486v4
• Date: Mon, 29 May 2023 12:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 11:15:35.797203
• Title: Scalar Invariant Networks with Zero Bias
• Title（参考訳）: バイアスゼロのスカラー不変量ネットワーク
• Authors: Chuqin Geng, Xiaojie Xu, Haolin Ye, Xujie Si
• Abstract要約: ゼロバイアスニューラルネットワークは、実用的な画像分類タスクにおいて、バイアス付きネットワークと同等に動作可能であることを示す。 ゼロバイアスニューラルネットワークがゼロ画像の予測に有効であることを示す。 ゼロバイアスニューラルネットワークの堅牢性と公正性は、信頼できる倫理的AIへの有望な道のりを示すかもしれない。
• 参考スコア（独自算出の注目度）: 3.428731916567677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Just like weights, bias terms are the learnable parameters of many popular machine learning models, including neural networks. Biases are thought to enhance the representational power of neural networks, enabling them to solve a variety of tasks in computer vision. However, we argue that biases can be disregarded for some image-related tasks such as image classification, by considering the intrinsic distribution of images in the input space and desired model properties from first principles. Our findings suggest that zero-bias neural networks can perform comparably to biased networks for practical image classification tasks. We demonstrate that zero-bias neural networks possess a valuable property called scalar (multiplication) invariance. This means that the prediction of the network remains unchanged when the contrast of the input image is altered. We extend scalar invariance to more general cases, enabling formal verification of certain convex regions of the input space. Additionally, we prove that zero-bias neural networks are fair in predicting the zero image. Unlike state-of-the-art models that may exhibit bias toward certain labels, zero-bias networks have uniform belief in all labels. We believe dropping bias terms can be considered as a geometric prior in designing neural network architecture for image classification, which shares the spirit of adapting convolutions as the transnational invariance prior. The robustness and fairness advantages of zero-bias neural networks may also indicate a promising path towards trustworthy and ethical AI.
• Abstract（参考訳）: weightsと同じく、バイアス項はニューラルネットワークを含む多くの一般的な機械学習モデルの学習可能なパラメータである。 バイアスはニューラルネットワークの表現力を高め、コンピュータビジョンにおける様々なタスクを解決できると考えられている。 しかし、入力空間における画像の本質的な分布と所望のモデル特性を第一原理から考慮し、画像分類などの画像関連タスクにはバイアスを無視することができると論じる。 以上の結果から,ゼロバイアスニューラルネットワークは,実際の画像分類タスクにおいてバイアス付きネットワークと同等の性能を発揮することが示唆された。 ゼロバイアスニューラルネットワークはスカラー不変性 (multiplication invariance) と呼ばれる貴重な特性を持つことを示した。 これは、入力画像のコントラストが変更されたとき、ネットワークの予測が変わらないことを意味する。 我々はスカラー不変性をより一般的な場合にまで拡張し、入力空間の凸領域の形式的検証を可能にする。 さらに,ゼロバイアスニューラルネットワークがゼロ画像の予測に有効であることを示す。 特定のラベルに対するバイアスを示すような最先端のモデルとは異なり、ゼロバイアスネットワークはすべてのラベルに対して一様である。 我々は、画像分類のためのニューラルネットワークアーキテクチャを設計する上で、バイアス項の減少は幾何学的先行と見なすことができると考えている。 ゼロバイアスニューラルネットワークの堅牢性と公正性は、信頼できる倫理的AIへの有望な道のりを示すかもしれない。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Closed-Form Interpretation of Neural Network Classifiers with Symbolic Regression Gradients [0.7832189413179361]
  ニューラルネットワークに基づく回帰とは対照的に、分類において、ニューラルネットワークからシンボル方程式への1対1マッピングを見つけることは一般的に不可能である。 トレーニングされたニューラルネットワークを、同じ量に基づいて決定を下す同値関数のクラスに組み込みます。 この等価クラスと記号回帰の探索空間で定義される人間可読方程式の交点を見つけることによってニューラルネットワークを解釈する。
  論文  参考訳（メタデータ） (2024-01-10T07:47:42Z)
• Emergence of Shape Bias in Convolutional Neural Networks through Activation Sparsity [8.54598311798543]
  現在の物体認識のためのディープラーニングモデルはテクスチャに大きく偏っている。 対照的に、人間の視覚系は形状や構造に偏っていることが知られている。 脳内のユビキタスな原理であるスパースコーディングは、それ自体がネットワークに形状バイアスをもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2023-10-29T04:07:52Z)
• Why do CNNs excel at feature extraction? A mathematical explanation [53.807657273043446]
  実世界のデータセットに似た画像を生成するのに使用できる特徴抽出に基づく画像分類の新しいモデルを提案する。 本研究では,特徴の存在を検知する一方向線形関数を構築し,畳み込みネットワークで実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-03T10:41:34Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity [0.0]
  偏りのあるデータに基づいて学習した畳み込み型ニューラルネットワークの性能と内部表現構造について検討する。 目的関数にCKA(Centered Kernel Alignment)を用いて,表現の類似性について検討する。 ニューラルネットワークの層間のプログレッシブな表現的類似性がなければ、その性能はロバストになりそうにない。
  論文  参考訳（メタデータ） (2022-11-14T22:17:14Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。