論文の概要: Meta-Learning Bidirectional Update Rules

• arxiv url: http://arxiv.org/abs/2104.04657v1
• Date: Sat, 10 Apr 2021 00:56:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 13:51:33.607733
• Title: Meta-Learning Bidirectional Update Rules
• Title（参考訳）: メタ学習双方向更新ルール
• Authors: Mark Sandler and Max Vladymyrov and Andrey Zhmoginov and Nolan Miller and Andrew Jackson and Tom Madams and Blaise Aguera y Arcas
• Abstract要約: ニューロンとシナプスが複数の状態を維持できる新しいタイプの一般化ニューラルネットワークを導入する。 ニューラルネットワークにおける古典的バックプロパゲーションは、ある状態がアクティベーションに、別の状態がグラデーションに、チェーンルールから更新ルールが派生した2状態ネットワークの特別なケースと見ることができる。
• 参考スコア（独自算出の注目度）: 14.397000142362337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a new type of generalized neural network where neurons and synapses maintain multiple states. We show that classical gradient-based backpropagation in neural networks can be seen as a special case of a two-state network where one state is used for activations and another for gradients, with update rules derived from the chain rule. In our generalized framework, networks have neither explicit notion of nor ever receive gradients. The synapses and neurons are updated using a bidirectional Hebb-style update rule parameterized by a shared low-dimensional "genome". We show that such genomes can be meta-learned from scratch, using either conventional optimization techniques, or evolutionary strategies, such as CMA-ES. Resulting update rules generalize to unseen tasks and train faster than gradient descent based optimizers for several standard computer vision and synthetic tasks.
• Abstract（参考訳）: 本稿では,ニューロンとシナプスが複数の状態を維持する新しいタイプの一般化ニューラルネットワークを提案する。 ニューラルネットワークにおける古典的勾配に基づくバックプロパゲーションは,1つの状態がアクティベーションに,もう1つの状態が勾配に使用される2状態ネットワークの特別な場合と見なすことができる。 我々の一般的なフレームワークでは、ネットワークは勾配の明示的な概念も受け取らない。 シナプスとニューロンは、共有低次元「遺伝子」によってパラメータ化された双方向のhebbスタイルの更新規則を用いて更新される。 このようなゲノムは、従来の最適化手法やCMA-ESのような進化戦略を用いて、ゼロからメタ学習できることを示す。 結果、更新ルールは未認識のタスクに一般化し、いくつかの標準的なコンピュータビジョンと合成タスクの勾配降下に基づくオプティマイザよりも高速にトレーニングする。

関連論文リスト

• Towards the Spectral bias Alleviation by Normalizations in Coordinate Networks [20.135740969953723]
  近年,座標ネットワークを用いた信号表現が逆問題領域を支配している。 座標ネットワークにはスペクトルバイアスの問題があり、高周波成分の学習能力を制限している。 その結果, この病理分布は古典的正規化法を用いて改善できることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T07:45:28Z)
• Rule Based Learning with Dynamic (Graph) Neural Networks [0.8158530638728501]
  本稿ではルールベースグラフニューラルネットワーク(RuleGNN)を提案する。 実験の結果,ルールGNNの予測性能は最先端のグラフ分類器に匹敵することがわかった。 専門家の知識をルールGNNに組み込む方法を示すために,新しいベンチマークグラフデータセットを導入する。
  論文  参考訳（メタデータ） (2024-06-14T12:01:18Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Automatic Optimisation of Normalised Neural Networks [1.0334138809056097]
  ニューラルネットワークの正規化パラメータに対する行列多様体の幾何を考慮した自動最適化手法を提案する。 我々の手法はまずネットワークを初期化し、初期化ネットワークの$ell2$-$ell2$ゲインに関してデータを正規化する。
  論文  参考訳（メタデータ） (2023-12-17T10:13:42Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
  LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。 ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。 本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-17T20:52:48Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。