論文の概要: Emergence of hierarchical modes from deep learning

• arxiv url: http://arxiv.org/abs/2208.09859v1
• Date: Sun, 21 Aug 2022 09:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 12:30:14.225187
• Title: Emergence of hierarchical modes from deep learning
• Title（参考訳）: ディープラーニングによる階層型モードの創発
• Authors: Chan Li and Haiping Huang
• Abstract要約: 本稿では,遅延モードの階層構造として重み行列を解釈できるモード分解学習を提案する。 モード分解学習は、魔法の深層学習への安価で解釈可能な経路を指す。
• 参考スコア（独自算出の注目度）: 2.0711789781518752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale deep neural networks consume expensive training costs, but the training results in less-interpretable weight matrices constructing the networks. Here, we propose a mode decomposition learning that can interpret the weight matrices as a hierarchy of latent modes. These modes are akin to patterns in physics studies of memory networks. The mode decomposition learning not only saves a significant large amount of training costs, but also explains the network performance with the leading modes. The mode learning scheme shows a progressively compact latent space across the network hierarchy, and the least number of modes increases only logarithmically with the network width. Our mode decomposition learning is also studied in an analytic on-line learning setting, which reveals multi-stage of learning dynamics. Therefore, the proposed mode decomposition learning points to a cheap and interpretable route towards the magical deep learning.
• Abstract（参考訳）: 大規模深層ニューラルネットワークは、高価なトレーニングコストを消費するが、トレーニングの結果、ネットワークを構成する重み行列が解釈不能になる。 本稿では,重み行列を潜在モードの階層として解釈できるモード分解学習を提案する。 これらのモードは、メモリネットワークの物理研究におけるパターンに似ている。 モード分解学習は、トレーニングコストを大幅に削減するだけでなく、ネットワークのパフォーマンスを先行モードで説明する。 モード学習方式は、ネットワーク階層全体にわたって徐々にコンパクトな潜在空間を示し、最小数のモードはネットワーク幅と対数的にしか増加しない。 このモード分解学習は,複数段階の学習ダイナミクスを明らかにするオンライン解析学習環境においても研究されている。 そこで,提案したモード分解学習は,魔法の深層学習への安価で解釈可能な経路を指す。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Get rich quick: exact solutions reveal how unbalanced initializations promote rapid feature learning [26.07501953088188]
  本研究では,非平衡層固有の初期化分散と学習速度が特徴学習の度合いを決定するかを検討する。 分析の結果,保存量によって学習体制に影響を及ぼすことが示唆された。 我々は、この不均衡なリッチレジームが、深い有限幅ネットワークにおける特徴学習を駆動し、CNNにおける初期層の解釈可能性を促進し、階層データの学習の複雑さを減らし、モジュラー算術の時間を短縮することを示す。
  論文  参考訳（メタデータ） (2024-06-10T10:42:37Z)
• Radial Networks: Dynamic Layer Routing for High-Performance Large Language Models [9.637088945386227]
  大規模言語モデル(LLM)は、しばしば厳しいメモリ、レイテンシ、電力需要に悩まされる。 インプット・バイ・インプット・ベースで計算を削減できる様々なダイナミック・スパシティーが提案されている。 トレーニングされたルータモジュールによってガイドされる層間のトークンレベルのルーティングを行うRadar Networksを提案する。
  論文  参考訳（メタデータ） (2024-04-07T09:52:31Z)
• Spiking mode-based neural networks [2.5690340428649328]
  スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。 大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。 本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T06:54:17Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• The Underlying Correlated Dynamics in Neural Training [6.385006149689549]
  ニューラルネットワークのトレーニングは、計算集約的なタスクである。 本稿では,パラメータのダイナミクスの相関に基づくモデルを提案する。 この表現は、基礎となるトレーニングダイナミクスの理解を深め、より良い加速技術を設計するための道を開くことができる。
  論文  参考訳（メタデータ） (2022-12-18T08:34:11Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures [4.836352379142503]
  Kronecker積分解の高速行列乗算に基づく新しいディープラーニングアーキテクチャを提案する。 このアーキテクチャにより、ニューラルネットワークのトレーニングと実装が可能になり、計算時間とリソースが大幅に削減されることを示す。
  論文  参考訳（メタデータ） (2022-04-08T19:54:52Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。