論文の概要: Scalar Invariant Networks with Zero Bias

• arxiv url: http://arxiv.org/abs/2211.08486v1
• Date: Tue, 15 Nov 2022 20:26:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 13:54:07.999316
• Title: Scalar Invariant Networks with Zero Bias
• Title（参考訳）: バイアスゼロのスカラー不変量ネットワーク
• Authors: Chuqin Geng, Xiaojie Xu, Haolin Ye, Xujie Si
• Abstract要約: ゼロバイアスニューラルネットワークは、少なくとも実用的な画像分類タスクにおいて、バイアスのあるニューラルネットワークと相容れない性能を示す。 実験の結果、ゼロバイアスモデルは最先端モデルよりも非常に大きなマージンで優れていることが示された。
• 参考スコア（独自算出の注目度）: 3.428731916567677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Just like weights, bias terms are the learnable parameters of many popular machine learning models, including neural networks. Biases are believed to effectively increase the representational power of neural networks to solve a wide range of tasks in computer vision. However, we argue that if we consider the intrinsic distribution of images in the input space as well as some desired properties a model should have from the first principles, biases can be completely ignored in addressing many image-related tasks, such as image classification. Our observation indicates that zero-bias neural networks could perform comparably to neural networks with bias at least on practical image classification tasks. In addition, we prove that zero-bias neural networks possess a nice property called scalar (multiplication) invariance, which has great potential in learning and understanding images captured under poor illumination conditions. We then extend scalar invariance to more general cases that allow us to verify certain convex regions of the input space. Our experimental results show that zero-bias models could outperform the state-of-art models by a very large margin (over 60%) when predicting images under a low illumination condition (multiplying a scalar of 0.01); while achieving the same-level performance as normal models.
• Abstract（参考訳）: weightsと同じく、バイアス項はニューラルネットワークを含む多くの一般的な機械学習モデルの学習可能なパラメータである。 バイアスは、コンピュータビジョンの幅広いタスクを解決するために、ニューラルネットワークの表現力を効果的に増加させると考えられている。 しかし、入力空間における画像の本質的な分布と、モデルが第一原理から持つべき所望の特性を考えると、画像分類などの多くの画像関連課題に対処する際にバイアスは完全に無視できる。 我々の観察では、ゼロバイアスニューラルネットワークは、少なくとも実用的な画像分類タスクにおいてバイアスのあるニューラルネットワークと相容れない性能を示す。 さらに,ゼロバイアスニューラルネットワークがスカラー(乗算)不変性(scalr invariance)と呼ばれる優れた特性を持っていることを証明した。 次にスカラー不変性をより一般的なケースに拡張し、入力空間の凸領域を検証できるようにする。 実験結果から,低照度条件(スカラー0.01を乗じて)下での映像の予測において,ゼロバイアスモデルは非常に大きなマージン(60%以上)を達成でき,通常のモデルと同等の性能を達成できることがわかった。

関連論文リスト

• An experimental comparative study of backpropagation and alternatives for training binary neural networks for image classification [1.0749601922718608]
  バイナリニューラルネットワークは、ディープニューラルネットワークモデルのサイズを減らすことを約束する。 より強力なモデルをエッジデバイスにデプロイすることも可能だ。 しかしながら、バイナリニューラルネットワークは、バックプロパゲーションに基づく勾配降下法を用いて訓練することが依然として難しいことが証明されている。
  論文  参考訳（メタデータ） (2024-08-08T13:39:09Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Closed-Form Interpretation of Neural Network Classifiers with Symbolic Gradients [0.7832189413179361]
  人工ニューラルネットワークにおいて、任意の単一ニューロンのクローズドフォーム解釈を見つけるための統一的なフレームワークを紹介します。 ニューラルネットワーク分類器を解釈して、決定境界に符号化された概念のクローズドフォーム表現を明らかにする。
  論文  参考訳（メタデータ） (2024-01-10T07:47:42Z)
• Emergence of Shape Bias in Convolutional Neural Networks through Activation Sparsity [8.54598311798543]
  現在の物体認識のためのディープラーニングモデルはテクスチャに大きく偏っている。 対照的に、人間の視覚系は形状や構造に偏っていることが知られている。 脳内のユビキタスな原理であるスパースコーディングは、それ自体がネットワークに形状バイアスをもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2023-10-29T04:07:52Z)
• Why do CNNs excel at feature extraction? A mathematical explanation [53.807657273043446]
  実世界のデータセットに似た画像を生成するのに使用できる特徴抽出に基づく画像分類の新しいモデルを提案する。 本研究では,特徴の存在を検知する一方向線形関数を構築し,畳み込みネットワークで実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-03T10:41:34Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity [0.0]
  偏りのあるデータに基づいて学習した畳み込み型ニューラルネットワークの性能と内部表現構造について検討する。 目的関数にCKA(Centered Kernel Alignment)を用いて,表現の類似性について検討する。 ニューラルネットワークの層間のプログレッシブな表現的類似性がなければ、その性能はロバストになりそうにない。
  論文  参考訳（メタデータ） (2022-11-14T22:17:14Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。