Fugu-MT 論文翻訳(概要): Extensional Properties of Recurrent Neural Networks

論文の概要: Extensional Properties of Recurrent Neural Networks

arxiv url: http://arxiv.org/abs/2410.22730v1
Date: Wed, 30 Oct 2024 06:29:02 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-31 14:29:03.035496
Title: Extensional Properties of Recurrent Neural Networks
Title（参考訳）: リカレントニューラルネットワークの拡張特性
Authors: Evgeny Dantsin, Alexander Wolpert,
Abstract要約: リカレントニューラルネットワーク(RNN)の特性は、RNNアルゴリズムの特性ではなく、RNNによって計算される関数の性質である場合、エンフェクテンシャル(enmphextensional)と呼ばれる。 RNNの任意の非自明な拡張性は決定不能である。
参考スコア（独自算出の注目度）: 49.30491917300904
License:
Abstract: A property of a recurrent neural network (RNN) is called \emph{extensional} if, loosely speaking, it is a property of the function computed by the RNN rather than a property of the RNN algorithm. Many properties of interest in RNNs are extensional, for example, robustness against small changes of input or good clustering of inputs. Given an RNN, it is natural to ask whether it has such a property. We give a negative answer to the general question about testing extensional properties of RNNs. Namely, we prove a version of Rice's theorem for RNNs: any nontrivial extensional property of RNNs is undecidable.
Abstract（参考訳）: リカレントニューラルネットワーク(RNN)の特性は、RNNアルゴリズムの特性ではなく、RNNによって計算される関数の性質であるときに「emph{extensional}」と呼ばれる。 RNNにおける多くの特性は拡張的であり、例えば、入力の小さな変化に対する堅牢性や入力の優れたクラスタリングなどである。 RNNを考えると、そのような性質を持っているかどうかを問うのは当然である。 RNNの拡張特性のテストに関する一般的な質問に対して、負の回答を与える。すなわち、RNN に対するライスの定理のバージョンを証明し、RNN の任意の非自明な拡張性は決定不能である。

関連論文リスト

Investigating Sparsity in Recurrent Neural Networks [0.0]
本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
論文参考訳（メタデータ） (2024-07-30T07:24:58Z)
A Tensor Decomposition Perspective on Second-order RNNs [5.922280687190788]
CPRNNと呼ばれるCP分解を用いた2RNNのパラメータ化モデルについて検討する。ランクと隠れサイズがモデルキャパシティに与える影響を分析し、これらのパラメータに基づいてRNN, 2RNN, MIRNN, CPRNN間の関係を示す。これらの結果はPenn Treebankデータセットの実験によって実証的に支援され、固定パラメータ予算により、CPRNNは、RNN、2RNN、MIRNNよりも、適切なランクと隠されたサイズで優れていることを示す。
論文参考訳（メタデータ） (2024-06-07T16:18:32Z)
Learning Useful Representations of Recurrent Neural Network Weight Matrices [30.583752432727326]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。下流タスクと同様に、RNN分析を容易にするRNN重みの有用な表現をどうやって学習するか? 我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
論文参考訳（メタデータ） (2024-03-18T17:32:23Z)
On Efficiently Representing Regular Languages as RNNs [49.88310438099143]
RNNは、人間の言語で広く使われている有界階層構造を効率的に表現できることを示す。これは、RNNの成功が階層をモデル化する能力と結びついていることを示唆している。我々は,RNNが従来主張していたより大規模なLMを効率的に表現できることを示す。
論文参考訳（メタデータ） (2024-02-24T13:42:06Z)
On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文参考訳（メタデータ） (2023-09-26T06:06:47Z)
Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing [74.31472195046099]
我々は、低ランクテンソルトレイン深層ニューラルネットワーク(TT-DNN)を用いて、エンドツーエンドのディープラーニングパイプライン、すなわちLR-TT-DNNを構築する。 LR-TT-DNNと畳み込みニューラルネットワーク(CNN)を組み合わせたハイブリッドモデルを構築し、性能を向上する。我々の実証的な証拠は、モデルパラメータが少ないLR-TT-DNNとCNN+(LR-TT-DNN)モデルが、TT-DNNとCNN+(LR-TT-DNN)モデルよりも優れていることを示している。
論文参考訳（メタデータ） (2022-03-11T15:55:34Z)
Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN [9.20540910698296]
本稿では、リカレントニューラルネットワーク(RNN)とシリアル加算器の類似性について論じる。 carry-lookahead adder にインスパイアされ、RNN に carry-lookahead モジュールを導入し、RNN の並列実行を可能にする。
論文参考訳（メタデータ） (2021-06-22T12:28:33Z)
SyReNN: A Tool for Analyzing Deep Neural Networks [8.55884254206878]
ディープニューラルネットワーク(DNN)は、さまざまな重要なドメインで急速に人気を集めています。本稿では,そのシンボル表現を計算してDNNの理解と分析を行うSyReNNを紹介する。
論文参考訳（メタデータ） (2021-01-09T00:27:23Z)
The Surprising Power of Graph Neural Networks with Random Node Initialization [54.4101931234922]
グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
論文参考訳（メタデータ） (2020-10-02T19:53:05Z)
A Formal Hierarchy of RNN Architectures [88.38859874233944]
階層構造は、RNNのメモリを測定する空間と、リカレント更新が重み付けされた有限状態マシンで記述できるかどうかという有理再帰という2つの形式的特性に基づいている。これらのモデルの表現能力は、複数の層を積み重ねたり、異なるプール機能で構成することでどのように拡張されるかを示す。我々は、不飽和RNNの実用的な学習能力は、同様の階層に従うと仮定する。
論文参考訳（メタデータ） (2020-04-18T00:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。