論文の概要: Training Deep Morphological Neural Networks as Universal Approximators

• arxiv url: http://arxiv.org/abs/2505.09710v1
• Date: Wed, 14 May 2025 18:10:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.062696
• Title: Training Deep Morphological Neural Networks as Universal Approximators
• Title（参考訳）: Universal ApproximatorとしてのDeep Morphological Neural Networksの訓練
• Authors: Konstantinos Fotopoulos, Petros Maragos,
• Abstract要約: 深部形態素ニューラルネットワーク(DMNN)について検討する。 DMNNには層間のアクティベーションが不可欠であることを示す。 DMNNのための新しいアーキテクチャをいくつか提案し,それぞれがパラメータに異なる制約を課している。
• 参考スコア（独自算出の注目度）: 23.122183338862687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate deep morphological neural networks (DMNNs). We demonstrate that despite their inherent non-linearity, activations between layers are essential for DMNNs. We then propose several new architectures for DMNNs, each with a different constraint on their parameters. For the first (resp. second) architecture, we work under the constraint that the majority of parameters (resp. learnable parameters) should be part of morphological operations. We empirically show that our proposed networks can be successfully trained, and are more prunable than linear networks. To the best of our knowledge, we are the first to successfully train DMNNs under such constraints, although the generalization capabilities of our networks remain limited. Finally, we propose a hybrid network architecture combining linear and morphological layers, showing empirically that the inclusion of morphological layers significantly accelerates the convergence of gradient descent with large batches.
• Abstract（参考訳）: 本研究では,ディープモルフォロジーニューラルネットワーク(DMNN)について検討する。 非直線性にもかかわらず、層間の活性化はDMNNにとって不可欠であることを示す。 次に、DMNNのための新しいアーキテクチャを提案し、それぞれがパラメータに異なる制約を持つ。 最初の(参照第2の)アーキテクチャでは、ほとんどのパラメータ(参照可能なパラメータ)が形態的操作の一部であるべきであるという制約の下で作業します。 提案するネットワークは,線形ネットワークよりも順調に訓練可能であり,より高速に動作可能であることを実証的に示す。 我々の知る限り、我々のネットワークの一般化能力は依然として限られているが、このような制約の下でDMNNをトレーニングした最初の人物である。 最後に,線形層と形態層を組み合わせたハイブリッドネットワークアーキテクチャを提案する。

関連論文リスト

• Sparse Hybrid Linear-Morphological Networks [22.57224128086205]
  本稿では,ネットワークの線形層間にモルフォロジー層を挿入するハイブリッドネットワーク構造を提案する。 我々はMagna-Tag-A-Tune(音楽の自動タグ付け)とCIFAR-10(画像分類)データセットについて実験を行った。 これらのネットワークは線形層に分散性を誘導し,L1非構造プルーニング下でのポーラス性を高めることを実証した。
  論文  参考訳（メタデータ） (2025-04-12T17:19:46Z)
• Residual Kolmogorov-Arnold Network for Enhanced Deep Learning [0.5852077003870417]
  我々はRKAN(Residual Kolmogorov-Arnold Network)を導入する。 提案するRKANモジュールは,よく知られたベンチマークデータセットのベースモデルに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2024-10-07T21:12:32Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
  Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。 GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:21:52Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• On the Application of Data-Driven Deep Neural Networks in Linear and Nonlinear Structural Dynamics [28.979990729816638]
  線形および非線形構造力学系のサロゲートとしてディープニューラルネットワーク(DNN)モデルを用いる。 焦点は、完全に接続された、疎結合で、畳み込みネットワーク層を使った効率的なネットワークアーキテクチャの開発である。 提案したDNNは,高調波負荷下での線形および非線形動的応答の予測に有効かつ正確なサロゲートとして利用できることを示す。
  論文  参考訳（メタデータ） (2021-11-03T13:22:19Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。