論文の概要: Advances in the training, pruning and enforcement of shape constraints
of Morphological Neural Networks using Tropical Algebra
- arxiv url: http://arxiv.org/abs/2011.07643v1
- Date: Sun, 15 Nov 2020 22:44:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 07:50:09.896549
- Title: Advances in the training, pruning and enforcement of shape constraints
of Morphological Neural Networks using Tropical Algebra
- Title（参考訳）: 熱帯代数を用いた形態的ニューラルネットワークの訓練, 刈り取り, 形状制約の実施の進展
- Authors: Nikolaos Dimitriadis, Petros Maragos
- Abstract要約: ディレーションと浸食の形態的演算子に基づくニューラルネットワークについて検討する。
我々のコントリビューションには、差分凸プログラミング手法による形態ネットワークのトレーニングや、バイナリ形態学をマルチクラスタスクに拡張することが含まれる。
- 参考スコア（独自算出の注目度）: 40.327435646554115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we study an emerging class of neural networks based on the
morphological operators of dilation and erosion. We explore these networks
mathematically from a tropical geometry perspective as well as mathematical
morphology. Our contributions are threefold. First, we examine the training of
morphological networks via Difference-of-Convex programming methods and extend
a binary morphological classifier to multiclass tasks. Second, we focus on the
sparsity of dense morphological networks trained via gradient descent
algorithms and compare their performance to their linear counterparts under
heavy pruning, showing that the morphological networks cope far better and are
characterized with superior compression capabilities. Our approach incorporates
the effect of the training optimizer used and offers quantitative and
qualitative explanations. Finally, we study how the architectural structure of
a morphological network can affect shape constraints, focusing on monotonicity.
Via Maslov Dequantization, we obtain a softened version of a known architecture
and show how this approach can improve training convergence and performance.
- Abstract（参考訳）: 本稿では,拡張と浸食の形態的演算子に基づくニューラルネットワークの新しいクラスについて検討する。
これらのネットワークを熱帯幾何学的観点から数学的に探索し,数学的形態を考察する。
私たちの貢献は3倍です。
まず、差分凸法を用いて形態ネットワークのトレーニングを行い、二項形態素分類器をマルチクラスタスクに拡張する。
第2に,勾配降下アルゴリズムによって訓練された密集した形態素ネットワークのスパース性に着目し,その性能を重い刈り取り下での線形ネットワークと比較し,形態素ネットワークの処理能力がはるかに向上し,優れた圧縮能力を有することを示す。
提案手法は,使用するトレーニングオプティマイザの効果を取り入れ,定量的かつ定性的な説明を提供する。
最後に,形態ネットワークの構造構造が形状制約にどのように影響するかを,単調性に着目して検討する。
Maslov Dequantizationでは、既知のアーキテクチャのソフト化バージョンを取得し、このアプローチがトレーニングの収束とパフォーマンスを改善する方法を示している。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Tropical Expressivity of Neural Networks [0.0]
熱帯の幾何学を用いて、ニューラルネットワークの様々なアーキテクチャ的側面を特徴づけ、研究する。
線形領域の正確な数を計算するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-30T15:45:03Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Training morphological neural networks with gradient descent: some theoretical insights [0.40792653193642503]
形態素ネットワークに適用された微分に基づくアプローチとバックプロパゲーションの可能性と限界について検討する。
我々は、特に学習率に関する洞察と最初の理論的ガイドラインを提供する。
論文 参考訳（メタデータ） (2024-02-05T12:11:15Z) - Convolution, aggregation and attention based deep neural networks for
accelerating simulations in mechanics [1.0154623955833253]
固体の変形を効率的に学習するための3種類のニューラルネットワークアーキテクチャを実証する。
最初の2つは、最近提案されたCNN U-NETとMagNETフレームワークに基づいており、メッシュベースのデータで学習する上で有望なパフォーマンスを示している。
第3のアーキテクチャであるPerceiver IOは、注目に基づくニューラルネットワークのファミリに属する、非常に最近のアーキテクチャである。
論文 参考訳（メタデータ） (2022-12-01T13:10:56Z) - Localized Persistent Homologies for more Effective Deep Learning [60.78456721890412]
ネットワークトレーニング中の位置を考慮に入れた新しいフィルタ機能を利用する手法を提案する。
この方法で訓練されたネットワークが抽出した曲線構造のトポロジを回復するのに役立つ道路の2次元画像と神経過程の3次元画像スタックを実験的に実証した。
論文 参考訳（メタデータ） (2021-10-12T19:28:39Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z) - Dynamic Sparse Training: Find Efficient Sparse Network From Scratch With
Trainable Masked Layers [18.22501196339569]
本稿では、最適ネットワークパラメータとスパースネットワーク構造を共同で見つけることのできる、動的スパーストレーニングと呼ばれる新しいネットワークプルーニングアルゴリズムを提案する。
我々の動的スパーストレーニングアルゴリズムは、非常にスパースなニューラルネットワークモデルを性能損失が少なく容易に訓練できることを実証する。
論文 参考訳（メタデータ） (2020-05-14T11:05:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。