論文の概要: A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms

• arxiv url: http://arxiv.org/abs/2211.12386v2
• Date: Thu, 6 Jul 2023 08:00:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 18:20:40.220079
• Title: A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms
• Title（参考訳）: 反復アルゴリズム学習のための再帰的リカレントニューラルネットワーク(R2N2)アーキテクチャ
• Authors: Danimir T. Doncevic, Alexander Mitsos, Yue Guo, Qianxiao Li, Felix Dietrich, Manuel Dahmen, Ioannis G. Kevrekidis
• Abstract要約: 本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
• 参考スコア（独自算出の注目度）: 64.3064050603721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning of numerical algorithms for a given task consists of the data-driven identification and adaptation of an algorithmic structure and the associated hyperparameters. To limit the complexity of the meta-learning problem, neural architectures with a certain inductive bias towards favorable algorithmic structures can, and should, be used. We generalize our previously introduced Runge-Kutta neural network to a recursively recurrent neural network (R2N2) superstructure for the design of customized iterative algorithms. In contrast to off-the-shelf deep learning approaches, it features a distinct division into modules for generation of information and for the subsequent assembly of this information towards a solution. Local information in the form of a subspace is generated by subordinate, inner, iterations of recurrent function evaluations starting at the current outer iterate. The update to the next outer iterate is computed as a linear combination of these evaluations, reducing the residual in this space, and constitutes the output of the network. We demonstrate that regular training of the weight parameters inside the proposed superstructure on input/output data of various computational problem classes yields iterations similar to Krylov solvers for linear equation systems, Newton-Krylov solvers for nonlinear equation systems, and Runge-Kutta integrators for ordinary differential equations. Due to its modularity, the superstructure can be readily extended with functionalities needed to represent more general classes of iterative algorithms traditionally based on Taylor series expansions.
• Abstract（参考訳）: 与えられたタスクに対する数値アルゴリズムのメタラーニングは、アルゴリズム構造と関連するハイパーパラメータのデータ駆動識別と適応からなる。 メタラーニング問題の複雑さを制限するために、有利なアルゴリズム構造に対するある種の帰納的バイアスを持つニューラルアーキテクチャを使用できる。 我々は,前回導入したrunge-kuttaニューラルネットワークを再帰的再帰的ニューラルネットワーク(r2n2)スーパー構造に一般化した。 既成のディープラーニングアプローチとは対照的に、情報生成のためのモジュールと、それに続くソリューションへの情報の組み立てのためのモジュールの分離が特徴である。 サブスペースの形での局所情報は、現在の外部イテレートから始まる繰り返し関数評価の下位、内部、イテレーションによって生成される。 次の外部イテレートへの更新は、これらの評価の線形結合として計算され、この空間の残余を低減し、ネットワークの出力を構成する。 様々な計算問題クラスの入出力データに対して,提案構造内の重みパラメータを正規にトレーニングすることで,線形方程式系ではクリロフソルバ,非線形方程式系ではニュートン・クリロフソルバ,常微分方程式ではルンゲ・クッタ積分器のような反復が得られることを示す。 モジュラリティのため、スーパー構造はテイラー級数展開に基づいて伝統的に反復アルゴリズムのより一般的なクラスを表現するのに必要な関数で容易に拡張できる。

関連論文リスト

• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• A Lagrangian Approach to Information Propagation in Graph Neural Networks [21.077268852378385]
  本稿では,グラフニューラルネットワーク(GNN)モデルに対する状態計算と学習アルゴリズムの新たなアプローチを提案する。 状態収束手順は、制約満足度機構によって暗黙的に表現され、学習手順の各エポックに対して別々の反復フェーズを必要としない。 実際、計算構造はウェイト、ニューラルアウトプット(ノード状態)、ラグランジュ乗数からなる随伴空間におけるラグランジアンのサドル点の探索に基づいている。
  論文  参考訳（メタデータ） (2020-02-18T16:13:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。