論文の概要: Expressivity of Neural Networks with Random Weights and Learned Biases

• arxiv url: http://arxiv.org/abs/2407.00957v3
• Date: Fri, 21 Mar 2025 18:13:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:32:33.416135
• Title: Expressivity of Neural Networks with Random Weights and Learned Biases
• Title（参考訳）: ランダムウェイトと学習バイアスを持つニューラルネットワークの表現性
• Authors: Ezekiel Williams, Alexandre Payeur, Avery Hee-Woon Ryoo, Thomas Jiralerspong, Matthew G. Perich, Luca Mazzucato, Guillaume Lajoie,
• Abstract要約: 固定ランダム重み付きフィードフォワードニューラルネットワークは,任意の連続関数をコンパクトな集合上で近似することができることを示す。 我々の発見は神経科学に関係しており、シナプスの重みを変えることなく、またAIにも、動的に行動に関係のある変化が起こる可能性を実証している。
• 参考スコア（独自算出の注目度）: 44.02417750529102
• License:
• Abstract: Landmark universal function approximation results for neural networks with trained weights and biases provided the impetus for the ubiquitous use of neural networks as learning models in neuroscience and Artificial Intelligence (AI). Recent work has extended these results to networks in which a smaller subset of weights (e.g., output weights) are tuned, leaving other parameters random. However, it remains an open question whether universal approximation holds when only biases are learned, despite evidence from neuroscience and AI that biases significantly shape neural responses. The current paper answers this question. We provide theoretical and numerical evidence demonstrating that feedforward neural networks with fixed random weights can approximate any continuous function on compact sets. We further show an analogous result for the approximation of dynamical systems with recurrent neural networks. Our findings are relevant to neuroscience, where they demonstrate the potential for behaviourally relevant changes in dynamics without modifying synaptic weights, as well as for AI, where they shed light on recent fine-tuning methods for large language models, like bias and prefix-based approaches.
• Abstract（参考訳）: トレーニングされた重みとバイアスを持つニューラルネットワークに対するランドマーク普遍関数近似の結果は、ニューラルネットワークを神経科学と人工知能(AI)の学習モデルとしてユビキタスに活用するための鍵となった。 最近の研究は、これらの結果を、より小さな重み(例えば出力重み)を調整したネットワークに拡張し、他のパラメータをランダムに残した。 しかし、神経科学やAIによる偏見が神経反応を著しく形作るという証拠にもかかわらず、偏見のみが学習されると、普遍的な近似が成り立つかどうかには疑問が残る。 現在の論文はこの質問に答える。 固定ランダム重み付きフィードフォワードニューラルネットワークが任意の連続関数をコンパクトな集合上で近似できることを示す理論的および数値的な証拠を提供する。 さらに、リカレントニューラルネットワークを用いた動的システムの近似に類似した結果を示す。 我々の発見は神経科学に関係しており、シナプスの重みを変更することなく、行動に関連のある動的変化の可能性を実証し、AIにはバイアスやプレフィックスベースのアプローチといった、最近の大きな言語モデルのための微調整方法に光を当てています。

関連論文リスト

• Stable Learning Using Spiking Neural Networks Equipped With Affine Encoders and Decoders [2.0072624123275533]
  スパイクニューラルネットワークに関連する学習問題について検討する。 我々は、正のシナプス重みしか持たない単純なスパイキングニューロンからなるスパイキングニューラルネットワークに焦点を当てた。 特に、アフィンスパイクニューラルネットワークが浅いReLUニューラルネットワークを近似できるという理論とシミュレーションを示す。
  論文  参考訳（メタデータ） (2024-04-06T08:17:07Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Learning to Act through Evolution of Neural Diversity in Random Neural Networks [9.387749254963595]
  ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。 本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
  論文  参考訳（メタデータ） (2023-05-25T11:33:04Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
  使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。 最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
  論文  参考訳（メタデータ） (2022-01-30T04:52:31Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。