論文の概要: Differentiable Forward and Backward Fixed-Point Iteration Layers
- arxiv url: http://arxiv.org/abs/2002.02868v4
- Date: Mon, 15 Jun 2020 02:36:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 04:27:21.875491
- Title: Differentiable Forward and Backward Fixed-Point Iteration Layers
- Title（参考訳）: 微分可能前方および後方固定点反復層
- Authors: Younghan Jeon, Minsik Lee, Jin Young Choi
- Abstract要約: 本稿では、より複雑な操作をディープネットワークで容易に行える固定点反復(FPI)層と呼ばれる新しいレイヤの定式化を提案する。
バックプロパゲーションには、リカレントバックプロパゲーション(RBP)アルゴリズムによって動機付けられたバックプロパゲーションも提案されている。
実際のアプリケーションでは、前方と後方の両方のFPI層を計算グラフのノードとして扱うことができる。
- 参考スコア（独自算出の注目度）: 18.389098068006515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, several studies proposed methods to utilize some classes of
optimization problems in designing deep neural networks to encode constraints
that conventional layers cannot capture. However, these methods are still in
their infancy and require special treatments, such as analyzing the KKT
condition, for deriving the backpropagation formula. In this paper, we propose
a new layer formulation called the fixed-point iteration (FPI) layer that
facilitates the use of more complicated operations in deep networks. The
backward FPI layer is also proposed for backpropagation, which is motivated by
the recurrent back-propagation (RBP) algorithm. But in contrast to RBP, the
backward FPI layer yields the gradient by a small network module without an
explicit calculation of the Jacobian. In actual applications, both the forward
and backward FPI layers can be treated as nodes in the computational graphs.
All components in the proposed method are implemented at a high level of
abstraction, which allows efficient higher-order differentiations on the nodes.
In addition, we present two practical methods of the FPI layer, FPI_NN and
FPI_GD, where the update operations of FPI are a small neural network module
and a single gradient descent step based on a learnable cost function,
respectively. FPI\_NN is intuitive, simple, and fast to train, while FPI_GD can
be used for efficient training of energy networks that have been recently
studied. While RBP and its related studies have not been applied to practical
examples, our experiments show the FPI layer can be successfully applied to
real-world problems such as image denoising, optical flow, and multi-label
classification.
- Abstract（参考訳）: 近年,従来のレイヤではキャプチャできない制約を符号化する深層ニューラルネットワークの設計において,いくつかの最適化問題を利用する手法が提案されている。
しかしながら、これらの方法はまだ初期段階であり、バックプロパゲーション式を導出するためには、KKT条件の分析などの特別な治療が必要である。
本稿では、より複雑な操作をディープネットワークで容易に行える固定点反復(FPI)層と呼ばれる新しいレイヤの定式化を提案する。
バックプロパゲーションには、リカレントバックプロパゲーション(RBP)アルゴリズムによって動機付けられたバックプロパゲーションも提案されている。
しかし RBP とは対照的に、後方 FPI 層はヤコビアンの明示的な計算をせずに小さなネットワークモジュールによって勾配を得る。
実際のアプリケーションでは、前方および後方のFPI層は計算グラフのノードとして扱うことができる。
提案手法のすべてのコンポーネントは高レベルの抽象化で実装されており,ノード上での高次微分を効率的に行うことができる。
また,fpiの更新操作は,学習可能なコスト関数に基づく小さなニューラルネットワークモジュールと単一の勾配降下ステップであるfpi_nnとfpi_gdの2つの実用的な手法を提案する。
FPI\_NNは直感的で単純で訓練が速いが、FPI_GDは近年研究されているエネルギーネットワークの効率的な訓練に利用できる。
RBPとその関連研究は実例には適用されていないが,本実験では,FPI層を画像のデノイングや光フロー,マルチラベル分類といった実世界の問題に適用できることを示した。
関連論文リスト
- Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。
時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。
BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。
BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-14T21:15:29Z) - conv_einsum: A Framework for Representation and Fast Evaluation of
Multilinear Operations in Convolutional Tensorial Neural Networks [28.416123889998243]
本研究では,テンソル畳み込み層をeinsumのような文字列として表現するフレームワークと,FLOPを最小化してこれらの文字列を評価するメタアルゴリズムであるconv_einsumを開発する。
論文 参考訳（メタデータ） (2024-01-07T04:30:12Z) - FFEINR: Flow Feature-Enhanced Implicit Neural Representation for
Spatio-temporal Super-Resolution [4.577685231084759]
本稿では,フローフィールドデータの超高分解能化のための特徴強調型ニューラルインシシット表現(FFEINR)を提案する。
モデル構造とサンプリング分解能の観点から、暗黙のニューラル表現を最大限に活用することができる。
FFEINRのトレーニングプロセスは、入力層に機能拡張を導入することで容易になる。
論文 参考訳（メタデータ） (2023-08-24T02:28:18Z) - Layer-wise Feedback Propagation [53.00944147633484]
本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。
各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-10-07T03:52:27Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z) - Improving the Backpropagation Algorithm with Consequentialism Weight
Updates over Mini-Batches [0.40611352512781856]
適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。
我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。
我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
論文 参考訳（メタデータ） (2020-03-11T08:45:36Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。