論文の概要: Scalar Invariant Networks with Zero Bias

• arxiv url: http://arxiv.org/abs/2211.08486v2
• Date: Thu, 25 May 2023 01:48:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 23:38:35.462416
• Title: Scalar Invariant Networks with Zero Bias
• Title（参考訳）: バイアスゼロのスカラー不変量ネットワーク
• Authors: Chuqin Geng, Xiaojie Xu, Haolin Ye, Xujie Si
• Abstract要約: ゼロバイアスニューラルネットワークは、少なくとも実用的な画像分類タスクにおいて、バイアスのあるニューラルネットワークと相容れない性能を示す。 特定のラベルに傾いている最先端のモデルとは対照的に、ゼロバイアスニューラルネットワークはすべてのラベルに対して一様である。
• 参考スコア（独自算出の注目度）: 3.428731916567677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Just like weights, bias terms are the learnable parameters of many popular machine learning models, including neural networks. Biases are believed to effectively increase the representational power of neural networks to solve a wide range of tasks in computer vision. However, we argue that if we consider the intrinsic distribution of images in the input space as well as some desired properties a model should have from the first principles, biases can be completely ignored in addressing many image-related tasks, such as image classification. Our observation indicates that zero-bias neural networks could perform comparably to neural networks with bias at least on practical image classification tasks. In addition, we prove that zero-bias neural networks possess a nice property called scalar (multiplication) invariance, which allows the prediction of neural networks remains the same when altering the contrast of the input image. We then extend scalar invariance to more general cases that allow us to formally verify certain convex regions of the input space. Besides that, we show the fairness of zero-bias neural networks in predicting the zero image. In contrast to the state-of-art models which lean towards certain labels, zero-bias neural networks have a uniform belief in all labels. Based on those merits, we believe dropping bias terms can be considered as a prior in designing neural network architecture for some CV tasks, which shares the spirit of adapting convolutions as the transnational invariance prior.
• Abstract（参考訳）: weightsと同じく、バイアス項はニューラルネットワークを含む多くの一般的な機械学習モデルの学習可能なパラメータである。 バイアスは、コンピュータビジョンの幅広いタスクを解決するために、ニューラルネットワークの表現力を効果的に増加させると考えられている。 しかし、入力空間における画像の本質的な分布と、モデルが第一原理から持つべき所望の特性を考えると、画像分類などの多くの画像関連課題に対処する際にバイアスは完全に無視できる。 我々の観察では、ゼロバイアスニューラルネットワークは、少なくとも実用的な画像分類タスクにおいてバイアスのあるニューラルネットワークと相容れない性能を示す。 さらに,ゼロバイアスニューラルネットワークがスカラー(乗算)不変性と呼ばれる優れた特性を持っていることを証明し,入力画像のコントラストを変更する場合,ニューラルネットワークの予測が同じであることを示す。 次にスカラー不変性をより一般的なケースに拡張し、入力空間のある種の凸領域を正式に検証する。 さらに、ゼロ画像の予測におけるゼロバイアスニューラルネットワークの公平性を示す。 特定のラベルに傾いている最先端のモデルとは対照的に、ゼロバイアスニューラルネットワークはすべてのラベルに対して一様である。 これらのメリットに基づいて、バイアス項を下げることは、畳み込みを超国家的不変性(transnational invariance)として適用する精神を共有するcvタスクのためのニューラルネットワークアーキテクチャを設計する上で、事前のものであると考えることができる。

関連論文リスト

• An experimental comparative study of backpropagation and alternatives for training binary neural networks for image classification [1.0749601922718608]
  バイナリニューラルネットワークは、ディープニューラルネットワークモデルのサイズを減らすことを約束する。 より強力なモデルをエッジデバイスにデプロイすることも可能だ。 しかしながら、バイナリニューラルネットワークは、バックプロパゲーションに基づく勾配降下法を用いて訓練することが依然として難しいことが証明されている。
  論文  参考訳（メタデータ） (2024-08-08T13:39:09Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Closed-Form Interpretation of Neural Network Classifiers with Symbolic Gradients [0.7832189413179361]
  人工ニューラルネットワークにおいて、任意の単一ニューロンのクローズドフォーム解釈を見つけるための統一的なフレームワークを紹介します。 ニューラルネットワーク分類器を解釈して、決定境界に符号化された概念のクローズドフォーム表現を明らかにする。
  論文  参考訳（メタデータ） (2024-01-10T07:47:42Z)
• Emergence of Shape Bias in Convolutional Neural Networks through Activation Sparsity [8.54598311798543]
  現在の物体認識のためのディープラーニングモデルはテクスチャに大きく偏っている。 対照的に、人間の視覚系は形状や構造に偏っていることが知られている。 脳内のユビキタスな原理であるスパースコーディングは、それ自体がネットワークに形状バイアスをもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2023-10-29T04:07:52Z)
• Why do CNNs excel at feature extraction? A mathematical explanation [53.807657273043446]
  実世界のデータセットに似た画像を生成するのに使用できる特徴抽出に基づく画像分類の新しいモデルを提案する。 本研究では,特徴の存在を検知する一方向線形関数を構築し,畳み込みネットワークで実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-03T10:41:34Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity [0.0]
  偏りのあるデータに基づいて学習した畳み込み型ニューラルネットワークの性能と内部表現構造について検討する。 目的関数にCKA(Centered Kernel Alignment)を用いて,表現の類似性について検討する。 ニューラルネットワークの層間のプログレッシブな表現的類似性がなければ、その性能はロバストになりそうにない。
  論文  参考訳（メタデータ） (2022-11-14T22:17:14Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。