論文の概要: Emergence of hierarchical modes from deep learning
- arxiv url: http://arxiv.org/abs/2208.09859v1
- Date: Sun, 21 Aug 2022 09:53:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:30:14.225187
- Title: Emergence of hierarchical modes from deep learning
- Title(参考訳): ディープラーニングによる階層型モードの創発
- Authors: Chan Li and Haiping Huang
- Abstract要約: 本稿では,遅延モードの階層構造として重み行列を解釈できるモード分解学習を提案する。
モード分解学習は、魔法の深層学習への安価で解釈可能な経路を指す。
- 参考スコア(独自算出の注目度): 2.0711789781518752
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale deep neural networks consume expensive training costs, but the
training results in less-interpretable weight matrices constructing the
networks. Here, we propose a mode decomposition learning that can interpret the
weight matrices as a hierarchy of latent modes. These modes are akin to
patterns in physics studies of memory networks. The mode decomposition learning
not only saves a significant large amount of training costs, but also explains
the network performance with the leading modes. The mode learning scheme shows
a progressively compact latent space across the network hierarchy, and the
least number of modes increases only logarithmically with the network width.
Our mode decomposition learning is also studied in an analytic on-line learning
setting, which reveals multi-stage of learning dynamics. Therefore, the
proposed mode decomposition learning points to a cheap and interpretable route
towards the magical deep learning.
- Abstract(参考訳): 大規模深層ニューラルネットワークは、高価なトレーニングコストを消費するが、トレーニングの結果、ネットワークを構成する重み行列が解釈不能になる。
本稿では,重み行列を潜在モードの階層として解釈できるモード分解学習を提案する。
これらのモードは、メモリネットワークの物理研究におけるパターンに似ている。
モード分解学習は、トレーニングコストを大幅に削減するだけでなく、ネットワークのパフォーマンスを先行モードで説明する。
モード学習方式は、ネットワーク階層全体にわたって徐々にコンパクトな潜在空間を示し、最小数のモードはネットワーク幅と対数的にしか増加しない。
このモード分解学習は,複数段階の学習ダイナミクスを明らかにするオンライン解析学習環境においても研究されている。
そこで,提案したモード分解学習は,魔法の深層学習への安価で解釈可能な経路を指す。
関連論文リスト
- Spiking mode-based neural networks [3.0349733976070024]
スパイクニューラルネットワークは、脳のようなニューロモルフィック計算において重要な役割を果たす。
大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新するコストがかかることだ。
論文 参考訳(メタデータ) (2023-10-23T06:54:17Z) - Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。
適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。
我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
論文 参考訳(メタデータ) (2023-07-07T15:03:42Z) - The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
ニューラルネットワークのトレーニングは、計算集約的なタスクである。
本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。
この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
論文 参考訳(メタデータ) (2022-12-18T08:34:11Z) - Parameter-Efficient Masking Networks [61.43995077575439]
先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。
本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。
これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
論文 参考訳(メタデータ) (2022-10-13T03:39:03Z) - Adaptive Convolutional Dictionary Network for CT Metal Artifact
Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。
我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。
本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文 参考訳(メタデータ) (2022-05-16T06:49:36Z) - Dimensionality Reduction in Deep Learning via Kronecker Multi-layer
Architectures [4.836352379142503]
Kronecker積分解の高速行列乗算に基づく新しいディープラーニングアーキテクチャを提案する。
このアーキテクチャにより、ニューラルネットワークのトレーニングと実装が可能になり、計算時間とリソースが大幅に削減されることを示す。
論文 参考訳(メタデータ) (2022-04-08T19:54:52Z) - Routing with Self-Attention for Multimodal Capsule Networks [108.85007719132618]
我々は,カプセルの強度をマルチモーダル学習フレームワークの文脈で活用できる,新しいマルチモーダルカプセルネットワークを提案する。
カプセルを大規模入力データに適応させるために, カプセルを選択する自己保持機構による新たなルーティングを提案する。
これにより、ノイズの多いビデオデータによる堅牢なトレーニングだけでなく、従来のルーティング方法と比較してカプセルネットワークのサイズを拡大することが可能になる。
論文 参考訳(メタデータ) (2021-12-01T19:01:26Z) - Hebbian learning with gradients: Hebbian convolutional neural networks
with modern deep learning frameworks [2.7666483899332643]
階層的,畳み込みニューラルネットワークにおけるヘビアン学習は,現代のディープラーニングフレームワークとほぼ自明に実装可能であることを示す。
我々はオブジェクト認識のためのヘビアン畳み込み多層ネットワークを構築した。
論文 参考訳(メタデータ) (2021-07-04T20:50:49Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳(メタデータ) (2020-06-29T08:35:49Z) - An analytic theory of shallow networks dynamics for hinge loss
classification [14.323962459195771]
我々は、単純なタイプのニューラルネットワーク(分類タスクを実行するために訓練された単一の隠れ層)のトレーニングダイナミクスについて研究する。
我々はこの理論を線形分離可能なデータセットと線形ヒンジ損失のプロトタイプケースに特化する。
これにより、トレーニングダイナミクスの減速、リッチラーニングと遅延ラーニングのクロスオーバー、オーバーフィッティングといった、現代のネットワークに現れるいくつかの現象に対処することが可能になります。
論文 参考訳(メタデータ) (2020-06-19T16:25:29Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。