論文の概要: Learning Useful Representations of Recurrent Neural Network Weight Matrices
- arxiv url: http://arxiv.org/abs/2403.11998v1
- Date: Mon, 18 Mar 2024 17:32:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 19:11:08.288269
- Title: Learning Useful Representations of Recurrent Neural Network Weight Matrices
- Title（参考訳）: リカレントニューラルネットワーク重み行列の有用な表現法
- Authors: Vincent Herrmann, Francesco Faccio, Jürgen Schmidhuber,
- Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。
我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。
我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
- 参考スコア（独自算出の注目度）: 30.583752432727326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent Neural Networks (RNNs) are general-purpose parallel-sequential computers. The program of an RNN is its weight matrix. How to learn useful representations of RNN weights that facilitate RNN analysis as well as downstream tasks? While the mechanistic approach directly looks at some RNN's weights to predict its behavior, the functionalist approach analyzes its overall functionality -- specifically, its input-output mapping. We consider several mechanistic approaches for RNN weights and adapt the permutation equivariant Deep Weight Space layer for RNNs. Our two novel functionalist approaches extract information from RNN weights by 'interrogating' the RNN through probing inputs. We develop a theoretical framework that demonstrates conditions under which the functionalist approach can generate rich representations that help determine RNN behavior. We create and release the first two 'model zoo' datasets for RNN weight representation learning. One consists of generative models of a class of formal languages, and the other one of classifiers of sequentially processed MNIST digits. With the help of an emulation-based self-supervised learning technique we compare and evaluate the different RNN weight encoding techniques on multiple downstream applications. On the most challenging one, namely predicting which exact task the RNN was trained on, functionalist approaches show clear superiority.
- Abstract（参考訳）: リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。
RNNのプログラムはその重み行列である。
下流タスクと同様に、RNN分析を容易にするRNN重みの有用な表現をどうやって学習するか?
メカニスティックなアプローチは、その振る舞いを予測するためにRNNの重みを直接調べるが、機能主義的なアプローチは、その全体的な機能、特に入出力マッピングを分析する。
我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。
我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
機能主義的アプローチがRNNの振る舞いを決定するのに役立つリッチな表現を生成できる条件を示す理論的枠組みを開発する。
RNN重み表現学習のための最初の2つの'モデル動物園'データセットを作成し、リリースする。
1つは形式言語のクラスの生成モデルで構成され、もう1つは逐次処理されたMNIST桁の分類器である。
我々は,エミュレーションに基づく自己教師付き学習技術を用いて,複数の下流アプリケーション上で異なるRNN重み符号化技術を比較し,評価する。
もっとも難しいのは、RNNがトレーニングした正確なタスクを予測することであり、機能主義者のアプローチは明らかに優位性を示している。
関連論文リスト
- Investigating Sparsity in Recurrent Neural Networks [0.0]
本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。
まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。
次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
論文 参考訳（メタデータ） (2024-07-30T07:24:58Z) - On Efficiently Representing Regular Languages as RNNs [49.88310438099143]
RNNは、人間の言語で広く使われている有界階層構造を効率的に表現できることを示す。
これは、RNNの成功が階層をモデル化する能力と結びついていることを示唆している。
我々は,RNNが従来主張していたより大規模なLMを効率的に表現できることを示す。
論文 参考訳（メタデータ） (2024-02-24T13:42:06Z) - On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳（メタデータ） (2023-09-26T06:06:47Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Lyapunov-Guided Representation of Recurrent Neural Network Performance [9.449520199858952]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと時系列データのためのユビキタスコンピューティングシステムである。
本稿では,RNNを力学系として扱うとともに,リアプノフスペクトル解析を用いてハイパーパラメータを高精度に相関する手法を提案する。
各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。
論文 参考訳（メタデータ） (2022-04-11T05:38:38Z) - Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。
我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。
本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
論文 参考訳（メタデータ） (2021-12-15T20:15:01Z) - Learning Hierarchical Structures with Differentiable Nondeterministic
Stacks [25.064819128982556]
最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。
NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。
また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
論文 参考訳（メタデータ） (2021-09-05T03:25:23Z) - Student Performance Prediction Using Dynamic Neural Models [0.0]
本稿では, 学生の次の受験質問に対する回答の正しさを, 以前のインタラクションに基づいて予測する問題に対処する。
我々は、その解に対する動的ニューラルネットワークの2つの主要なクラス、すなわち有限メモリ時間遅延ニューラルネットワーク(TDNN)と潜在的無限メモリリカレントニューラルネットワーク(RNN)を比較した。
実験の結果,これまでに使用したすべてのデータセットにおいて,RNNアプローチの性能はTDNNアプローチよりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-06-01T14:40:28Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - Understanding Recurrent Neural Networks Using Nonequilibrium Response
Theory [5.33024001730262]
リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータの解析に機械学習で広く使用される脳モデルである。
非平衡統計力学からの応答理論を用いてRNNが入力信号を処理する方法を示す。
論文 参考訳（メタデータ） (2020-06-19T10:09:09Z) - Visual Commonsense R-CNN [102.5061122013483]
本稿では,新しい教師なし特徴表現学習手法であるVisual Commonsense Region-based Convolutional Neural Network (VC R-CNN)を提案する。
VC R-CNNは、キャプションやVQAのような高レベルのタスクのための改善された視覚領域エンコーダとして機能する。
我々は、画像キャプション、VQA、VCRの3つの一般的なタスクのモデルにおいて、VC R-CNNの機能を広く適用し、それら全体で一貫したパフォーマンス向上を観察する。
論文 参考訳（メタデータ） (2020-02-27T15:51:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。