論文の概要: Learning compositional functions via multiplicative weight updates

• arxiv url: http://arxiv.org/abs/2006.14560v2
• Date: Fri, 8 Jan 2021 17:34:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 02:36:18.825963
• Title: Learning compositional functions via multiplicative weight updates
• Title（参考訳）: 乗法重み更新による構成関数の学習
• Authors: Jeremy Bernstein, Jiawei Zhao, Markus Meister, Ming-Yu Liu, Anima Anandkumar, Yisong Yue
• Abstract要約: 乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。 マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
• 参考スコア（独自算出の注目度）: 97.9457834009578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositionality is a basic structural feature of both biological and artificial neural networks. Learning compositional functions via gradient descent incurs well known problems like vanishing and exploding gradients, making careful learning rate tuning essential for real-world applications. This paper proves that multiplicative weight updates satisfy a descent lemma tailored to compositional functions. Based on this lemma, we derive Madam -- a multiplicative version of the Adam optimiser -- and show that it can train state of the art neural network architectures without learning rate tuning. We further show that Madam is easily adapted to train natively compressed neural networks by representing their weights in a logarithmic number system. We conclude by drawing connections between multiplicative weight updates and recent findings about synapses in biology.
• Abstract（参考訳）: 構成性は、生物学的ニューラルネットワークと人工ニューラルネットワークの両方の基本的な構造的特徴である。 勾配勾配による合成関数の学習は、消滅や爆発的な勾配といったよく知られた問題を引き起こし、現実世界のアプリケーションに注意深い学習率のチューニングが不可欠である。 本稿では,乗算重み更新が構成関数に合わせた降下補題を満たすことを示す。 この補題に基づいて、Adam optimiserの乗法バージョンであるMadamを導き、レートチューニングを学習することなく、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示しています。 さらに,マダムの重みを対数系で表現することで,ネイティブ圧縮ニューラルネットワークの学習に容易に適応できることを示す。 本研究の結論は, 乗算重み更新と, 生物学におけるシナプスに関する最近の知見とを関連づけることである。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Low Tensor Rank Learning of Neural Dynamics [0.0]
  低次元課題を解決するために訓練されたRNNにおいて,低テンソルランクの重みが自然に現れることを示す。 本研究は,生物ニューラルネットワークと人工ニューラルネットワークの双方において,学習による集団接続の進化に関する知見を提供する。
  論文  参考訳（メタデータ） (2023-08-22T17:08:47Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Deep Learning Meets Sparse Regularization: A Signal Processing Perspective [17.12783792226575]
  データに適合するように訓練されたニューラルネットワークの機能特性を特徴付ける数学的枠組みを提案する。 このフレームワークをサポートする主要な数学的ツールは、変換領域スパース正規化、計算トモグラフィーのラドン変換、近似理論である。 このフレームワークは、ニューラルネットワークトレーニングにおける重量減衰正則化の効果、ネットワークアーキテクチャにおけるスキップ接続と低ランク重量行列の使用、ニューラルネットワークにおける空間性の役割、そしてニューラルネットワークが高次元問題でうまく機能する理由を説明する。
  論文  参考訳（メタデータ） (2023-01-23T17:16:21Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Infinite-dimensional Folded-in-time Deep Neural Networks [0.0]
  本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。 また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-01-08T11:30:50Z)
• A multi-agent model for growing spiking neural networks [0.0]
  このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。 シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。 このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
  論文  参考訳（メタデータ） (2020-09-21T15:11:29Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)
• Hcore-Init: Neural Network Initialization based on Graph Degeneracy [22.923756039561194]
  ディープラーニングアーキテクチャから抽出した全重み付きマルチパートグラフに対して,kコア構造の適応版を提案する。 多部グラフは双部グラフの組合せであり、ハイパーグラフの入射グラフであるので、k-ハイパーコア分解を設計する。
  論文  参考訳（メタデータ） (2020-04-16T12:57:14Z)
• Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
  我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。 グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF) 完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
  論文  参考訳（メタデータ） (2020-04-06T13:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。