Fugu-MT 論文翻訳(概要): A Modern Self-Referential Weight Matrix That Learns to Modify Itself

論文の概要: A Modern Self-Referential Weight Matrix That Learns to Modify Itself

arxiv url: http://arxiv.org/abs/2202.05780v1
Date: Fri, 11 Feb 2022 17:24:31 GMT
ステータス: 処理完了
システム内更新日: 2022-02-14 16:03:08.002267
Title: A Modern Self-Referential Weight Matrix That Learns to Modify Itself
Title（参考訳）: 自己参照型重み行列による自己修正学習
Authors: Kazuki Irie, Imanol Schlag, R\'obert Csord\'as, J\"urgen Schmidhuber
Abstract要約: 自己参照NNは、実行中に自分自身を迅速に修正し続けることができる。本稿では,外部製品とデルタ更新ルールを用いて自己修正を行う,スケーラブルな自己参照型WMを提案する。本実験は,SRWMの実用性と競争性能の両立を実証するものである。
参考スコア（独自算出の注目度）: 12.205111306195487
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The weight matrix (WM) of a neural network (NN) is its program. The programs of many traditional NNs are learned through gradient descent in some error function, then remain fixed. The WM of a self-referential NN, however, can keep rapidly modifying all of itself during runtime. In principle, such NNs can meta-learn to learn, and meta-meta-learn to meta-learn to learn, and so on, in the sense of recursive self-improvement. While NN architectures potentially capable of implementing such behavior have been proposed since the '90s, there have been few if any practical studies. Here we revisit such NNs, building upon recent successes of fast weight programmers and closely related linear Transformers. We propose a scalable self-referential WM (SRWM) that uses outer products and the delta update rule to modify itself. We evaluate our SRWM in supervised few-shot learning and in multi-task reinforcement learning with procedurally generated game environments. Our experiments demonstrate both practical applicability and competitive performance of the proposed SRWM. Our code is public.
Abstract（参考訳）: ニューラルネットワーク(NN)の重み行列(WM)はそのプログラムである。多くの伝統的なnnのプログラムは、あるエラー関数の勾配降下を通じて学習され、修正されたままである。しかし、自己参照NNのWMは、実行中に自分自身を迅速に修正し続けることができる。原則として、このようなnnは学習をメタ学習し、メタ学習をメタ学習し、再帰的自己改善という意味で学習することができる。このような振る舞いを実装可能なNNアーキテクチャは、90年代から提案されているが、実際的な研究はほとんどない。ここでは、高速ウェイトプログラマと密接に関連する線形変換器の最近の成功に基づいて、そのようなNNを再考する。本稿では,外部製品とデルタ更新ルールを用いて自己修正を行う,スケーラブルな自己参照型WM(SRWM)を提案する。プロシージャ生成型ゲーム環境を用いたマイズショット学習とマルチタスク強化学習におけるsrwmの評価を行った。本実験は,SRWMの実用性と競争性能の両立を実証するものである。私たちのコードは公開されています。

関連論文リスト

Rethinking Deep Learning: Non-backpropagation and Non-optimization Machine Learning Approach Using Hebbian Neural Networks [0.0]
NNにヘビアン学習を実装することにより,生体神経系を模倣する機械学習手法を開発した。標準に基づく認識を用いて、個別に訓練されたNNの特性について検討し、特定のラベルで訓練されたNNが、そのラベルに強く反応することを示す。このことは、Hebbian学習NNが客観的関数、バックプロパゲーション、最適化プロセスなしで手書き文字を認識できることを示している。
論文参考訳（メタデータ） (2024-11-07T08:35:01Z)
On Newton's Method to Unlearn Neural Networks [44.85793893441989]
ニューラルネット(NN)に対する近似的未学習アルゴリズムを探索し、同じモデルを再学習したオラクルに返却する。本稿では, 立方正則化を利用してヘッセン系縮退を効果的に処理するCureNewton法を提案する。異なるモデルとデータセットをまたいだ実験により、我々の手法は、実践的な未学習環境で最先端のアルゴリズムと競合する未学習性能を達成できることを示した。
論文参考訳（メタデータ） (2024-06-20T17:12:20Z)
Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
論文参考訳（メタデータ） (2024-02-19T19:11:22Z)
Automated Repair of Neural Networks [0.26651200086513094]
安全でないNNの安全仕様を修復するためのフレームワークを提案する。提案手法では,重み値のいくつかを修正して,新しい安全なNN表現を探索することができる。我々は,提案するフレームワークが安全なNNを実現する能力を示す広範な実験を行った。
論文参考訳（メタデータ） (2022-07-17T12:42:24Z)
Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
論文参考訳（メタデータ） (2021-10-31T18:35:10Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)
Meta Learning Backpropagation And Improving It [4.061135251278187]
NNにおける単純なウェイトシェアリングとスパーシリティは、再利用可能な方法で強力な学習アルゴリズム(LA)を表現するのに十分であることを示す。 VS-ML RNNと呼ばれるVS-MLの単純な実装は、フォワードモードでRNNを実行するだけでバックプロパゲーションLAを実装することができる。バックプロパゲーションを改善する新しいLAをメタ学習し、メタトレーニングディストリビューション以外のデータセットに一般化することもできます。
論文参考訳（メタデータ） (2020-12-29T18:56:10Z)
Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
論文参考訳（メタデータ） (2020-10-23T19:12:30Z)
MTL2L: A Context Aware Neural Optimiser [25.114351877091785]
MTL2L(Multi-Task Learning to Learn)は、入力データに基づいて最適化ルールを自己修正する文脈認識型ニューラルネットワークオプティマイザである。 MTL2Lは,メタテストフェーズにおいて,未知の入力領域のデータに基づいて学習者の分類を更新できることを示す。
論文参考訳（メタデータ） (2020-07-18T06:37:30Z)
Robust Pruning at Initialization [61.30574156442608]
計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
論文参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。