Fugu-MT 論文翻訳(概要): HeunNet: Extending ResNet using Heun's Methods

論文の概要: HeunNet: Extending ResNet using Heun's Methods

arxiv url: http://arxiv.org/abs/2105.06168v2
Date: Fri, 14 May 2021 14:50:53 GMT
ステータス: 処理完了
システム内更新日: 2021-05-17 12:56:13.905010
Title: HeunNet: Extending ResNet using Heun's Methods
Title（参考訳）: HeunNet: Heunのメソッドを使ってResNetを拡張する
Authors: Mehrdad Maleki and Mansura Habiba and Barak A. Pearlmutter
Abstract要約: HeunNet は ResNet の予測型コレクタである。フンの手法はオイラーの方法よりも正確である。 HeunNetは計算時間が少なくて精度が高い。
参考スコア（独自算出の注目度）: 1.0071258008543083
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: There is an analogy between the ResNet (Residual Network) architecture for deep neural networks and an Euler solver for an ODE. The transformation performed by each layer resembles an Euler step in solving an ODE. We consider the Heun Method, which involves a single predictor-corrector cycle, and complete the analogy, building a predictor-corrector variant of ResNet, which we call a HeunNet. Just as Heun's method is more accurate than Euler's, experiments show that HeunNet achieves high accuracy with low computational (both training and test) time compared to both vanilla recurrent neural networks and other ResNet variants.
Abstract（参考訳）: ディープニューラルネットワークのためのResNet(Residual Network)アーキテクチャとODEのためのEulerソルバとの間には類似性がある。各層が行う変換は、ODEを解く際のオイラーステップに似ている。 We consider the Heun Method, which with a single predictor-corrector cycle, and complete the analogy, building a predictor-corrector variant of ResNet, which we called a HeunNet。 HeunNetの手法がEulerの手法よりも正確であるように、実験により、HeunNetはバニラ再帰ニューラルネットワークや他のResNetの変種と比較して、低計算時間(トレーニングとテストの両方)で高い精度を達成することが示された。

関連論文リスト

LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文参考訳（メタデータ） (2024-07-18T22:05:21Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。 GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
論文参考訳（メタデータ） (2023-12-05T03:03:54Z)
Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。まず,このような正弦波ニューラルネットワークの簡易版を提案する。次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文参考訳（メタデータ） (2022-11-26T07:41:48Z)
Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文参考訳（メタデータ） (2022-08-02T18:27:13Z)
Momentum Residual Neural Networks [22.32840998053339]
モーメント項を追加することで、ResNetの前方ルールを変更することを提案する。 MomentumNetsは既存のResNetブロックのドロップイン代替として使用できる。我々は、MomentumNetsがResNetsと同じ精度であり、メモリフットプリントがはるかに小さいことを示す。
論文参考訳（メタデータ） (2021-02-15T22:24:52Z)
Accuracy and Architecture Studies of Residual Neural Network solving Ordinary Differential Equations [0.0]
通常の微分方程式を解くために残存ニューラルネットワーク(ResNet)を利用することを検討する。本稿では、Euler, Runge-Kutta2 および Runge-Kutta4 の有限差分法を適用し、ResNet を訓練する3つのターゲットを生成する。よく訓練されたResNetは、対応する1ステップの有限差分法と同等に振る舞う。
論文参考訳（メタデータ） (2021-01-10T17:34:10Z)
A Residual Solver and Its Unfolding Neural Network for Total Variation Regularized Models [5.9622541907827875]
本稿では,入力と未知最適解の間の残差を求めることで,全変分正規化モデルを解くことを提案する。残差解法が500個の自然画像の古典的手法と同じ大域的最適解に到達できることを数値的に確認する。提案したアルゴリズムとニューラルネットワークは、その有効性と効率を示すために、いくつかの問題にうまく適用されている。
論文参考訳（メタデータ） (2020-09-08T01:44:34Z)
Implicit Euler ODE Networks for Single-Image Dehazing [33.34490764631837]
単一画像デハージング問題に対して,効率的なマルチレベル暗黙ネットワーク(MI-Net)を提案する。提案手法は既存の手法より優れ,最先端の性能を実現する。
論文参考訳（メタデータ） (2020-07-13T15:27:33Z)
A Model-driven Deep Neural Network for Single Image Rain Removal [52.787356046951494]
完全解釈可能なネットワーク構造を持つモデル駆動型ディープニューラルネットワークを提案する。雨を表現するための畳み込み辞書学習機構に基づいて,新しい単一画像デレーニングモデルを提案する。すべてのレインカーネルとオペレータは自動的に抽出され、レイン層とクリーンなバックグラウンド層の両方の特徴を忠実に特徴付けることができる。
論文参考訳（メタデータ） (2020-05-04T09:13:25Z)
A game-theoretic approach for Generative Adversarial Networks [2.995087247817663]
GAN(Generative Adversarial Network)は、生成モデルの一種で、正確なサンプルを作成することで知られている。彼らの実装の主なボトルネックは、ニューラルネットワークのトレーニングが非常に難しいことだ。本稿では,GANに対する緩和されたフォワードバックワードアルゴリズムを提案する。ゲームの擬階写像が単調であるとき、正確な解やその近傍に収束することが証明される。
論文参考訳（メタデータ） (2020-03-30T17:14:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。