論文の概要: Approximate Fixed-Points in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2106.02417v1
• Date: Fri, 4 Jun 2021 11:33:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 15:00:00.585198
• Title: Approximate Fixed-Points in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおける近似固定点
• Authors: Zhengxiong Wang and Anton Ragni
• Abstract要約: リカレントニューラルネットワークは、音声処理や言語処理で広く使われている。 過去に依存するため、これらのモデルをトレーニングするための標準的なアルゴリズムは効率的に並列化できない。 本稿では,リカレントニューラルネットワークが非線形方程式系の固定点として再構成可能であることを示す。
• 参考スコア（独自算出の注目度）: 10.031004070657122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks are widely used in speech and language processing. Due to dependency on the past, standard algorithms for training these models, such as back-propagation through time (BPTT), cannot be efficiently parallelised. Furthermore, applying these models to more complex structures than sequences requires inference time approximations, which introduce inconsistency between inference and training. This paper shows that recurrent neural networks can be reformulated as fixed-points of non-linear equation systems. These fixed-points can be computed using an iterative algorithm exactly and in as many iterations as the length of any given sequence. Each iteration of this algorithm adds one additional Markovian-like order of dependencies such that upon termination all dependencies modelled by the recurrent neural networks have been incorporated. Although exact fixed-points inherit the same parallelization and inconsistency issues, this paper shows that approximate fixed-points can be computed in parallel and used consistently in training and inference including tasks such as lattice rescoring. Experimental validation is performed in two tasks, Penn Tree Bank and WikiText-2, and shows that approximate fixed-points yield competitive prediction performance to recurrent neural networks trained using the BPTT algorithm.
• Abstract（参考訳）: リカレントニューラルネットワークは、音声や言語処理で広く使われている。 過去に依存するため、BPTT(back-proagation through time)など、これらのモデルをトレーニングするための標準的なアルゴリズムは、効率的に並列化できない。 さらに、これらのモデルをシーケンスよりも複雑な構造に適用するには、推論時間近似が必要となる。 本稿では,リカレントニューラルネットワークを非線形方程式系の固定点として再構成できることを示す。 これらの固定点は、任意の列の長さの繰り返しを正確に反復アルゴリズムで計算することができる。 このアルゴリズムの各イテレーションには、再帰的なニューラルネットワークによってモデル化されたすべての依存関係が組み込まれるように、マルコフ的な依存関係の順序が1つ追加される。 正確な固定点は同じ並列化や不整合問題を継承するが、この論文は、近似固定点を並列に計算し、格子再構成などのタスクを含むトレーニングや推論に一貫して使用できることを示す。 実験的検証はpenn tree bankとwikitext-2の2つのタスクで行われ、近似不動点がbpttアルゴリズムで訓練された再帰ニューラルネットワークの競合予測性能をもたらすことを示している。

関連論文リスト

• Continual learning with the neural tangent ensemble [0.6137178191238463]
  Nパラメータを持つニューラルネットワークは、N分類器の重み付けアンサンブルとして解釈できることを示す。 過去のデータから各専門家の確率と後続確率を導出する。 驚くべきことに、これらの専門家の後方更新はスケール化され、予測される勾配降下と等価であることがわかった。
  論文  参考訳（メタデータ） (2024-08-30T16:29:09Z)
• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Backpropagation Through Time For Networks With Long-Term Dependencies [0.0]
  backpropagation through time(bptt)は、recurrent neural networks(rnn)内でチューニングされたパラメータを更新する技術である。 本稿では,個別ループと複数ループの相互作用に対して,それぞれ「離散フォワード感度方程式」とその変種を用いることを提案する。 このソリューションは正確であり、ネットワークのパラメータを次のステップごとに変更することができますが、Jacobianの計算が必要です。
  論文  参考訳（メタデータ） (2021-03-26T15:55:54Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• AIN: Fast and Accurate Sequence Labeling with Approximate Inference Network [75.44925576268052]
  線形鎖条件ランダム場(CRF)モデルは最も広く使われているニューラルネットワークラベリング手法の1つである。 厳密な確率的推論アルゴリズムは典型的にはCRFモデルの訓練と予測段階に適用される。 CRFモデルに対して並列化可能な近似変分推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T12:18:43Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。