論文の概要: Deep Networks from the Principle of Rate Reduction
- arxiv url: http://arxiv.org/abs/2010.14765v1
- Date: Tue, 27 Oct 2020 06:01:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 11:47:46.530445
- Title: Deep Networks from the Principle of Rate Reduction
- Title（参考訳）: レート低減原理に基づく深層ネットワーク
- Authors: Kwan Ho Ryan Chan, Yaodong Yu, Chong You, Haozhi Qi, John Wright, Yi
Ma
- Abstract要約: この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。
学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。
この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
- 参考スコア（独自算出の注目度）: 32.87280757001462
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work attempts to interpret modern deep (convolutional) networks from the
principles of rate reduction and (shift) invariant classification. We show that
the basic iterative gradient ascent scheme for optimizing the rate reduction of
learned features naturally leads to a multi-layer deep network, one iteration
per layer. The layered architectures, linear and nonlinear operators, and even
parameters of the network are all explicitly constructed layer-by-layer in a
forward propagation fashion by emulating the gradient scheme. All components of
this "white box" network have precise optimization, statistical, and geometric
interpretation. This principled framework also reveals and justifies the role
of multi-channel lifting and sparse coding in early stage of deep networks.
Moreover, all linear operators of the so-derived network naturally become
multi-channel convolutions when we enforce classification to be rigorously
shift-invariant. The derivation also indicates that such a convolutional
network is significantly more efficient to construct and learn in the spectral
domain. Our preliminary simulations and experiments indicate that so
constructed deep network can already learn a good discriminative representation
even without any back propagation training.
- Abstract（参考訳）: この研究は、レート低減と(シフト)不変分類の原理から現代の深層(畳み込み)ネットワークを解釈しようとするものである。
学習した特徴量の減少率を最適化する基本的反復勾配法は,多層深層ネットワーク,すなわち1層1回を自然に実現することを示す。
階層化アーキテクチャ、線形および非線形演算子、およびネットワークのパラメータさえも、勾配スキームをエミュレートして前方伝播方式で明示的に構成されている。
この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
この原則付きフレームワークは、ディープネットワークの初期段階におけるマルチチャネル昇降とスパースコーディングの役割も明らかにし、正当化する。
さらに、ソ派生ネットワークのすべての線型作用素は、厳密にシフト不変であるように分類を強制すると、自然にマルチチャネル畳み込みとなる。
この導出は、そのような畳み込みネットワークがスペクトル領域の構築と学習において著しく効率的であることを示している。
予備シミュレーションと実験により,構築した深層ネットワークは,バックプロパゲーショントレーニングがなくても,すでに良好な識別表現を学習できることが示された。
関連論文リスト
- Regularized Gradient Clipping Provably Trains Wide and Deep Neural Networks [0.2302001830524133]
我々は、クリッピング勾配アルゴリズムの正規化形式をインスタンス化し、ディープニューラルネットワーク損失関数の大域的最小値に収束できることを証明する。
我々は、我々の理論的に確立された正規化勾配クリッピングアルゴリズムが、最先端のディープラーニングと競合する経験的証拠を提示する。
論文 参考訳（メタデータ） (2024-04-12T17:37:42Z) - Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。
本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-25T11:53:06Z) - Deep Residual Compensation Convolutional Network without Backpropagation [0.0]
数百の層でトレーニングされたPCANetライクなネットワークである残差補償畳み込みネットワークを導入する。
分類誤差を修正するため,各層に先行する各層の残余情報から得られた新しいラベルを学習する。
実験の結果、我々のディープネットワークは既存のPCANetのようなネットワークよりも優れており、従来の勾配モデルと競合していることがわかった。
論文 参考訳（メタデータ） (2023-01-27T11:45:09Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳（メタデータ） (2022-11-26T07:41:48Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Redundancy in Deep Linear Neural Networks [0.0]
従来の知恵によれば、ディープ線形ニューラルネットワークは1つの線形層に対して表現性と最適化の利点を享受する。
本稿では, 従来手法を用いた深層線形完全連結ネットワークのトレーニングプロセスが, 単層線形完全連結層と同じ方法で凸であることを示す。
論文 参考訳（メタデータ） (2022-06-09T13:21:00Z) - The Principles of Deep Learning Theory [19.33681537640272]
この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。
これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。
トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
論文 参考訳（メタデータ） (2021-06-18T15:00:00Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - ReduNet: A White-box Deep Network from the Principle of Maximizing Rate
Reduction [32.489371527159236]
この研究は、データ圧縮と識別表現の原理から、現代の深層(畳み込み)ネットワークを解釈することを目的とした、妥当な理論フレームワークの提供を試みる。
高次元マルチクラスデータに対して、最適な線形判別表現は、データセット全体と全てのサブセットの平均との符号化速度差を最大化することを示す。
速度減少目標を最適化するための基本的反復的勾配上昇スキームは,現代のディープネットワークの共通特性を共有する多層ディープネットワークであるReduNetに自然に導かれることを示す。
論文 参考訳（メタデータ） (2021-05-21T16:29:57Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。