論文の概要: Training morphological neural networks with gradient descent: some theoretical insights

• arxiv url: http://arxiv.org/abs/2403.12975v2
• Date: Mon, 1 Jul 2024 07:40:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 14:49:11.226298
• Title: Training morphological neural networks with gradient descent: some theoretical insights
• Title（参考訳）: 勾配降下型モルフォロジーニューラルネットワークの訓練 : いくつかの理論的考察
• Authors: Samy Blusseau,
• Abstract要約: 形態素ネットワークに適用された微分に基づくアプローチとバックプロパゲーションの可能性と限界について検討する。 我々は、特に学習率に関する洞察と最初の理論的ガイドラインを提供する。
• 参考スコア（独自算出の注目度）: 0.40792653193642503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Morphological neural networks, or layers, can be a powerful tool to boost the progress in mathematical morphology, either on theoretical aspects such as the representation of complete lattice operators, or in the development of image processing pipelines. However, these architectures turn out to be difficult to train when they count more than a few morphological layers, at least within popular machine learning frameworks which use gradient descent based optimization algorithms. In this paper we investigate the potential and limitations of differentiation based approaches and back-propagation applied to morphological networks, in light of the non-smooth optimization concept of Bouligand derivative. We provide insights and first theoretical guidelines, in particular regarding initialization and learning rates.
• Abstract（参考訳）: モルフォロジーニューラルネットワーク(英: Morphological Neural Network、または層)は、完全な格子演算子の表現のような理論的側面や画像処理パイプラインの開発において、数学的形態学の進歩を促進する強力なツールである。 しかしながら、これらのアーキテクチャは、少なくとも勾配降下に基づく最適化アルゴリズムを使用する一般的な機械学習フレームワークにおいて、いくつかの形態的レイヤを数えると、トレーニングが困難であることが判明した。 本稿では、ブーリガンド微分の非滑らかな最適化概念を考慮して、微分に基づくアプローチと形態素ネットワークに適用されるバックプロパゲーションの可能性と限界について検討する。 我々は、特に初期化と学習率に関する洞察と最初の理論的ガイドラインを提供する。

関連論文リスト

• CF-OPT: Counterfactual Explanations for Structured Prediction [47.36059095502583]
  ディープニューラルネットワークの最適化レイヤは構造化学習で人気を博し、さまざまなアプリケーションにおける最先端技術の改善に寄与している。 しかし、これらのパイプラインは2つの不透明な層(ディープニューラルネットワークのような非常に非線形な予測モデル)と、通常複雑なブラックボックス解決器である最適化層)で構成されているため、解釈性に欠ける。 我々のゴールは、このような手法の透明性を向上させることであり、対実的な説明を提供することである。
  論文  参考訳（メタデータ） (2024-05-28T15:48:27Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
  過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。 一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
  論文  参考訳（メタデータ） (2023-04-29T11:46:53Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Deep Learning Meets Sparse Regularization: A Signal Processing Perspective [17.12783792226575]
  データに適合するように訓練されたニューラルネットワークの機能特性を特徴付ける数学的枠組みを提案する。 このフレームワークをサポートする主要な数学的ツールは、変換領域スパース正規化、計算トモグラフィーのラドン変換、近似理論である。 このフレームワークは、ニューラルネットワークトレーニングにおける重量減衰正則化の効果、ネットワークアーキテクチャにおけるスキップ接続と低ランク重量行列の使用、ニューラルネットワークにおける空間性の役割、そしてニューラルネットワークが高次元問題でうまく機能する理由を説明する。
  論文  参考訳（メタデータ） (2023-01-23T17:16:21Z)
• Learning without gradient descent encoded by the dynamics of a neurobiological model [7.952666139462592]
  本稿では,動的シグナリングの神経生物学的モデルを利用した機械学習の概念的アプローチを提案する。 MNIST画像は、教師なしの方法で、ほぼ最先端の精度で幾何学的ネットワークのダイナミクスによって一意に符号化され分類できることを示す。
  論文  参考訳（メタデータ） (2021-03-16T07:03:04Z)
• Going beyond p-convolutions to learn grayscale morphological operators [64.38361575778237]
  p-畳み込み層と同じ原理に基づく2つの新しい形態層を提示する。 本研究では, p-畳み込み層と同じ原理に基づく2つの新しい形態層を示す。
  論文  参考訳（メタデータ） (2021-02-19T17:22:16Z)
• Advances in the training, pruning and enforcement of shape constraints of Morphological Neural Networks using Tropical Algebra [40.327435646554115]
  ディレーションと浸食の形態的演算子に基づくニューラルネットワークについて検討する。 我々のコントリビューションには、差分凸プログラミング手法による形態ネットワークのトレーニングや、バイナリ形態学をマルチクラスタスクに拡張することが含まれる。
  論文  参考訳（メタデータ） (2020-11-15T22:44:25Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。