論文の概要: Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures

• arxiv url: http://arxiv.org/abs/2204.04273v1
• Date: Fri, 8 Apr 2022 19:54:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 19:04:51.226882
• Title: Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures
• Title（参考訳）: クロネッカー多層アーキテクチャによるディープラーニングの次元化
• Authors: Jarom D. Hogue and Robert M. Kirby and Akil Narayan
• Abstract要約: Kronecker積分解の高速行列乗算に基づく新しいディープラーニングアーキテクチャを提案する。 このアーキテクチャにより、ニューラルネットワークのトレーニングと実装が可能になり、計算時間とリソースが大幅に削減されることを示す。
• 参考スコア（独自算出の注目度）: 4.836352379142503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning using neural networks is an effective technique for generating models of complex data. However, training such models can be expensive when networks have large model capacity resulting from a large number of layers and nodes. For training in such a computationally prohibitive regime, dimensionality reduction techniques ease the computational burden, and allow implementations of more robust networks. We propose a novel type of such dimensionality reduction via a new deep learning architecture based on fast matrix multiplication of a Kronecker product decomposition; in particular our network construction can be viewed as a Kronecker product-induced sparsification of an "extended" fully connected network. Analysis and practical examples show that this architecture allows a neural network to be trained and implemented with a significant reduction in computational time and resources, while achieving a similar error level compared to a traditional feedforward neural network.
• Abstract（参考訳）: ニューラルネットワークを用いたディープラーニングは、複雑なデータのモデルを生成する効果的なテクニックである。 しかし、そのようなモデルのトレーニングは、ネットワークが多数の層とノードから生じる大きなモデル能力を持つ場合、高価である。 このような計算禁止体制でのトレーニングでは、次元削減技術は計算負担を緩和し、より堅牢なネットワークの実装を可能にする。 本稿では,クロネッカー積分解の高速行列乗算に基づく新しい深層学習アーキテクチャによる新たな次元低減手法を提案する。 このアーキテクチャは、従来のフィードフォワードニューラルネットワークと同じようなエラーレベルを達成しつつ、計算時間とリソースを大幅に削減して、ニューラルネットワークをトレーニングし、実装することができることを示している。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Homological Neural Networks: A Sparse Architecture for Multivariate Complexity [0.0]
  我々は,基礎となるデータのホモロジー構造上に構築された,疎密な高階グラフィカルアーキテクチャを特徴とする,新しいディープニューラルネットワークユニットを開発する。 その結果、この新しい設計の利点は、ごく少数のパラメータだけで最先端の機械学習モデルとディープラーニングモデルの結果を結び付けるか、克服することができる。
  論文  参考訳（メタデータ） (2023-06-27T09:46:16Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Adaptive Neural Networks Using Residual Fitting [2.546014024559691]
  本稿では,ネットワークの残差における説明可能なエラーを探索し,十分なエラーが検出された場合,ネットワークを拡大するネットワーク成長手法を提案する。 これらのタスクの中で、成長するネットワークは、成長しない小さなネットワークよりも優れたパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2023-01-13T19:52:30Z)
• MAgNET: A Graph U-Net Architecture for Mesh-Based Simulations [0.5185522256407782]
  我々は、任意のグラフ構造化データに対応するために、よく知られた畳み込みニューラルネットワークを拡張するMagNETを提案する。 固体の力学における非線形有限要素シミュレーションのサロゲートモデリングにおけるMAgNETの予測能力を示す。
  論文  参考訳（メタデータ） (2022-11-01T19:23:45Z)
• Efficient Neural Architecture Search with Performance Prediction [0.0]
  ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。 既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。 サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
  論文  参考訳（メタデータ） (2021-08-04T05:44:16Z)
• Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
  本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。 これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
  論文  参考訳（メタデータ） (2021-07-30T03:37:00Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。