論文の概要: Increasing biases can be more efficient than increasing weights
- arxiv url: http://arxiv.org/abs/2301.00924v3
- Date: Thu, 18 Jan 2024 06:13:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 21:09:56.954250
- Title: Increasing biases can be more efficient than increasing weights
- Title(参考訳): 偏見の増大は重量の増加よりも効率的である
- Authors: Carlo Metta, Marco Fantozzi, Andrea Papini, Gianluca Amato, Matteo
Bergamaschi, Silvia Giulia Galfr\`e, Alessandro Marchetti, Michelangelo
Vegli\`o, Maurizio Parton, Francesco Morandin
- Abstract要約: ユニットは、あるユニットから次のユニットに渡されるときに、非破壊的な情報を保存することの重要性を強調します。
重みよりもバイアスの増加に焦点を当てることで、ニューラルネットワークモデルの性能が大幅に向上する可能性があることを示す。
- 参考スコア(独自算出の注目度): 33.05856234084821
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce a novel computational unit for neural networks that features
multiple biases, challenging the traditional perceptron structure. This unit
emphasizes the importance of preserving uncorrupted information as it is passed
from one unit to the next, applying activation functions later in the process
with specialized biases for each unit. Through both empirical and theoretical
analyses, we show that by focusing on increasing biases rather than weights,
there is potential for significant enhancement in a neural network model's
performance. This approach offers an alternative perspective on optimizing
information flow within neural networks. See source code at
https://github.com/CuriosAI/dac-dev.
- Abstract(参考訳): 複数のバイアスを特徴とするニューラルネットワークのための新しい計算ユニットを導入し、従来のパーセプトロン構造に挑戦する。
このユニットは、あるユニットから次のユニットに渡されるときに、非破壊的な情報を保存することの重要性を強調し、各ユニットに特別なバイアスがあるプロセスにおいて、活性化関数を適用する。
実験的および理論的分析により,重みよりもバイアスの増加に注目することで,ニューラルネットワークモデルの性能が著しく向上する可能性が示唆された。
このアプローチは、ニューラルネットワーク内の情報フローを最適化する別の視点を提供する。
ソースコードはhttps://github.com/curiosai/dac-devを参照。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳(メタデータ) (2023-05-05T09:40:28Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Look beyond labels: Incorporating functional summary information in
Bayesian neural networks [11.874130244353253]
予測確率に関する要約情報を組み込むための簡単な手法を提案する。
利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。
本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
論文 参考訳(メタデータ) (2022-07-04T07:06:45Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳(メタデータ) (2022-01-30T04:52:31Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-01T10:03:57Z) - Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。
この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。
この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文 参考訳(メタデータ) (2021-03-02T03:23:03Z) - Infinite-dimensional Folded-in-time Deep Neural Networks [0.0]
本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。
また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-01-08T11:30:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。