論文の概要: Structured and Balanced Multi-component and Multi-layer Neural Networks

• arxiv url: http://arxiv.org/abs/2407.00765v1
• Date: Sun, 30 Jun 2024 17:00:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 01:37:22.724384
• Title: Structured and Balanced Multi-component and Multi-layer Neural Networks
• Title（参考訳）: 構造的・平衡的多成分・多層ニューラルネットワーク
• Authors: Shijun Zhang, Hongkai Zhao, Yimin Zhong, Haomin Zhou,
• Abstract要約: バランスの取れた多成分・多層計算ネットワーク(MMNN)を提案する。 MMNNは、完全連結ニューラルネットワーク(FCNN)や多層パーセプトロン(MLP)と比較して、トレーニングパラメータの大幅な削減を実現している
• 参考スコア（独自算出の注目度）: 9.699640804685629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose a balanced multi-component and multi-layer neural network (MMNN) structure to approximate functions with complex features with both accuracy and efficiency in terms of degrees of freedom and computation cost. The main idea is motivated by a multi-component, each of which can be approximated effectively by a single-layer network, and multi-layer decomposition in a "divide-and-conquer" type of strategy to deal with a complex function. While an easy modification to fully connected neural networks (FCNNs) or multi-layer perceptrons (MLPs) through the introduction of balanced multi-component structures in the network, MMNNs achieve a significant reduction of training parameters, a much more efficient training process, and a much improved accuracy compared to FCNNs or MLPs. Extensive numerical experiments are presented to illustrate the effectiveness of MMNNs in approximating high oscillatory functions and its automatic adaptivity in capturing localized features.
• Abstract（参考訳）: 本研究では,自由度と計算コストの両面において精度と効率の両面で複雑な特徴を持つ関数を近似する,バランスの取れた多成分・多層ニューラルネットワーク(MMNN)構造を提案する。 主なアイデアはマルチコンポーネントによって動機付けられ、各コンポーネントは単一層ネットワークによって効果的に近似され、複雑な関数を扱うための「分母と子」型の戦略で多層分解される。 完全に接続されたニューラルネットワーク(FCNN)やMLP(Multi-layer perceptron)への変更は、ネットワークにバランスの取れたマルチコンポーネント構造を導入することで容易になるが、MMNNはトレーニングパラメータの大幅な削減、より効率的なトレーニングプロセス、FCNNやMLPよりもはるかに精度が向上している。 高振動関数の近似におけるMMNNの有効性と局所的特徴の捕捉における自動適応性を示すために,大規模な数値実験を行った。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Multilevel CNNs for Parametric PDEs based on Adaptive Finite Elements [0.0]
  高次元パラメータ依存偏微分方程式の多値性を利用するニューラルネットワークアーキテクチャが提案されている。 ネットワークは適応的に洗練された有限要素メッシュのデータで訓練される。 適応型マルチレベルスキームに対して完全収束と複雑性解析を行う。
  論文  参考訳（メタデータ） (2024-08-20T13:32:11Z)
• Parallel Proportional Fusion of Spiking Quantum Neural Network for Optimizing Image Classification [10.069224006497162]
  量子・スパイキングニューラルネットワーク(PPF-QSNN)の並列比例融合(Parallel Proportional Fusion of Quantum and Spiking Neural Networks)と呼ばれる新しいアーキテクチャを導入する。 提案したPPF-QSNNは、既存のスパイクニューラルネットワークと、精度、損失、ロバストネスといったメトリクスにわたるシリアル量子ニューラルネットワークの両方より優れている。 本研究は、人工知能計算における量子優位性の発展と応用の基盤となるものである。
  論文  参考訳（メタデータ） (2024-04-01T10:35:35Z)
• A Multimodal Intermediate Fusion Network with Manifold Learning for Stress Detection [1.2430809884830318]
  本稿では,多様体学習に基づく次元減少を伴う中間的マルチモーダル融合ネットワークを提案する。 マルチモーダルネットワークと単調ネットワークの異なるバリエーションについて,様々な次元削減手法を比較した。 多次元スケーリング(MDS)法による中間レベル融合は96.00%の精度で有望な結果を示した。
  論文  参考訳（メタデータ） (2024-03-12T21:06:19Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Real-time Multi-Task Diffractive Deep Neural Networks via Hardware-Software Co-design [1.6066483376871004]
  本研究は,d$2$nnsでロバストかつノイズ耐性のあるマルチタスク学習を実現する,新しいハードウェアソフトウェア共同設計手法を提案する。 私たちの実験結果は、汎用性とハードウェア効率の大幅な改善を示し、提案されたマルチタスクD$2$NNアーキテクチャの堅牢性を実証します。
  論文  参考訳（メタデータ） (2020-12-16T12:29:54Z)
• Evolving Multi-Resolution Pooling CNN for Monaural Singing Voice Separation [40.170868770930774]
  モナウラル歌声分離(MSVS)は難しい課題であり、何十年も研究されてきた。 ディープニューラルネットワーク(Deep Neural Network, DNN)は、MSVSの最先端の手法である。 ニューラルアーキテクチャサーチ(NAS)手法をMSVS用DNNの構造設計に適用する。
  論文  参考訳（メタデータ） (2020-08-03T12:09:42Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。