Fugu-MT 論文翻訳(概要): Increasing biases can be more efficient than increasing weights

論文の概要: Increasing biases can be more efficient than increasing weights

arxiv url: http://arxiv.org/abs/2301.00924v3
Date: Thu, 18 Jan 2024 06:13:12 GMT
ステータス: 処理完了
システム内更新日: 2024-01-19 21:09:56.954250
Title: Increasing biases can be more efficient than increasing weights
Title（参考訳）: 偏見の増大は重量の増加よりも効率的である
Authors: Carlo Metta, Marco Fantozzi, Andrea Papini, Gianluca Amato, Matteo Bergamaschi, Silvia Giulia Galfr\`e, Alessandro Marchetti, Michelangelo Vegli\`o, Maurizio Parton, Francesco Morandin
Abstract要約: ユニットは、あるユニットから次のユニットに渡されるときに、非破壊的な情報を保存することの重要性を強調します。重みよりもバイアスの増加に焦点を当てることで、ニューラルネットワークモデルの性能が大幅に向上する可能性があることを示す。
参考スコア（独自算出の注目度）: 33.05856234084821
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We introduce a novel computational unit for neural networks that features multiple biases, challenging the traditional perceptron structure. This unit emphasizes the importance of preserving uncorrupted information as it is passed from one unit to the next, applying activation functions later in the process with specialized biases for each unit. Through both empirical and theoretical analyses, we show that by focusing on increasing biases rather than weights, there is potential for significant enhancement in a neural network model's performance. This approach offers an alternative perspective on optimizing information flow within neural networks. See source code at https://github.com/CuriosAI/dac-dev.
Abstract（参考訳）: 複数のバイアスを特徴とするニューラルネットワークのための新しい計算ユニットを導入し、従来のパーセプトロン構造に挑戦する。このユニットは、あるユニットから次のユニットに渡されるときに、非破壊的な情報を保存することの重要性を強調し、各ユニットに特別なバイアスがあるプロセスにおいて、活性化関数を適用する。実験的および理論的分析により,重みよりもバイアスの増加に注目することで,ニューラルネットワークモデルの性能が著しく向上する可能性が示唆された。このアプローチは、ニューラルネットワーク内の情報フローを最適化する別の視点を提供する。ソースコードはhttps://github.com/curiosai/dac-devを参照。

関連論文リスト

Interpreting Neural Networks through Mahalanobis Distance [0.0]
本稿では,ニューラルネットワークの線形層とマハラノビス距離を結合する理論的枠組みを提案する。この研究は理論的であり、経験的データを含んでいないが、提案された距離に基づく解釈は、モデルロバスト性を高め、一般化を改善し、ニューラルネットワークの決定をより直観的な説明を提供する可能性がある。
論文参考訳（メタデータ） (2024-10-25T07:21:44Z)
Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
論文参考訳（メタデータ） (2024-07-01T04:25:49Z)
Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文参考訳（メタデータ） (2024-06-14T13:12:07Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。その後、トレーニング中にのみ高次の統計を利用する。本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文参考訳（メタデータ） (2022-11-21T15:27:22Z)
Look beyond labels: Incorporating functional summary information in Bayesian neural networks [11.874130244353253]
予測確率に関する要約情報を組み込むための簡単な手法を提案する。利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
論文参考訳（メタデータ） (2022-07-04T07:06:45Z)
Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文参考訳（メタデータ） (2021-10-12T23:22:45Z)
Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文参考訳（メタデータ） (2021-10-01T10:03:57Z)
Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文参考訳（メタデータ） (2021-03-02T03:23:03Z)
Infinite-dimensional Folded-in-time Deep Neural Networks [0.0]
本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
論文参考訳（メタデータ） (2021-01-08T11:30:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。