Fugu-MT 論文翻訳(概要): Sparse Hybrid Linear-Morphological Networks

論文の概要: Sparse Hybrid Linear-Morphological Networks

arxiv url: http://arxiv.org/abs/2504.09289v1
Date: Sat, 12 Apr 2025 17:19:46 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-15 16:50:36.293691
Title: Sparse Hybrid Linear-Morphological Networks
Title（参考訳）: Sparse Hybrid Linear-Morphological Networks
Authors: Konstantinos Fotopoulos, Christos Garoufis, Petros Maragos,
Abstract要約: 本稿では,ネットワークの線形層間にモルフォロジー層を挿入するハイブリッドネットワーク構造を提案する。我々はMagna-Tag-A-Tune(音楽の自動タグ付け)とCIFAR-10(画像分類)データセットについて実験を行った。これらのネットワークは線形層に分散性を誘導し,L1非構造プルーニング下でのポーラス性を高めることを実証した。
参考スコア（独自算出の注目度）: 22.57224128086205
License:
Abstract: We investigate hybrid linear-morphological networks. Recent studies highlight the inherent affinity of morphological layers to pruning, but also their difficulty in training. We propose a hybrid network structure, wherein morphological layers are inserted between the linear layers of the network, in place of activation functions. We experiment with the following morphological layers: 1) maxout pooling layers (as a special case of a morphological layer), 2) fully connected dense morphological layers, and 3) a novel, sparsely initialized variant of (2). We conduct experiments on the Magna-Tag-A-Tune (music auto-tagging) and CIFAR-10 (image classification) datasets, replacing the linear classification heads of state-of-the-art convolutional network architectures with our proposed network structure for the various morphological layers. We demonstrate that these networks induce sparsity to their linear layers, making them more prunable under L1 unstructured pruning. We also show that on MTAT our proposed sparsely initialized layer achieves slightly better performance than ReLU, maxout, and densely initialized max-plus layers, and exhibits faster initial convergence.
Abstract（参考訳）: ハイブリッド線形モルフォロジーネットワークについて検討する。近年の研究では、プルーニングに対するモルフォロジー層固有の親和性だけでなく、トレーニングの難しさも強調されている。本稿では,ネットワークの線形層間に,活性化関数の代わりにモルフォロジー層を挿入するハイブリッドネットワーク構造を提案する。以下の形態素層を実験する。 1)最大プール層(モルフォロジー層の特別の場合) 2) 完全に連結された高密度形態層, そして 3) (2)のわずかに初期化された新規な変種。我々はMagna-Tag-A-Tune(音楽の自動タグ付け)とCIFAR-10(画像分類)データセットの実験を行い、最先端の畳み込みネットワークアーキテクチャの線形分類ヘッドを、様々な形態的階層のネットワーク構造に置き換えた。これらのネットワークは線形層に分散性を誘導し,L1非構造プルーニング下でのポーラス性を高めることを実証した。また,MTATにおいて提案した疎初期化層は,ReLU,maxout,高密度初期化Max-plus層よりもわずかに優れた性能を示し,初期収束の高速化を図っている。

関連論文リスト

SIMAP: A simplicial-map layer for neural networks [0.196629787330046]
SIMAPレイヤはSimplicial-Map Neural Networks (SMNN)の拡張版である SMNNとは異なり、サポートセットは、行列ベースの乗算アルゴリズムで効率よく計算される、固定された最大値の単純度に基づいている。
論文参考訳（メタデータ） (2024-03-22T10:06:42Z)
Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination [33.273226655730326]
深層線形ネットワークの各層は、幾何速度でクラス内特徴を徐々に圧縮し、線形速度でクラス間特徴を識別することを示す。これは、ディープ線形ネットワークの階層的表現における特徴進化の最初の定量的評価である。
論文参考訳（メタデータ） (2023-11-06T09:00:38Z)
HaarNet: Large-scale Linear-Morphological Hybrid Network for RGB-D Semantic Segmentation [12.89384111017003]
これは、拡張可能な実世界のデータセットのセットで評価された最初の大規模線形形態学ハイブリッドである。 HaarNetは最先端のCNNと競合しており、形態学ネットワークが幾何学ベースの学習タスクのための有望な研究方向であることを示唆している。
論文参考訳（メタデータ） (2023-10-11T17:18:15Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文参考訳（メタデータ） (2023-01-03T20:57:22Z)
Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文参考訳（メタデータ） (2022-12-05T14:47:52Z)
Advances in the training, pruning and enforcement of shape constraints of Morphological Neural Networks using Tropical Algebra [40.327435646554115]
ディレーションと浸食の形態的演算子に基づくニューラルネットワークについて検討する。我々のコントリビューションには、差分凸プログラミング手法による形態ネットワークのトレーニングや、バイナリ形態学をマルチクラスタスクに拡張することが含まれる。
論文参考訳（メタデータ） (2020-11-15T22:44:25Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)
The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文参考訳（メタデータ） (2020-06-29T17:59:26Z)
Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation [2.654526698055524]
正規化レイヤと畳み込みレイヤと完全に接続されたレイヤを融合する等価ネットワークを構築します。 MNIST と CIFAR 10 で得られた熱マップは畳み込み層に対してより正確である。
論文参考訳（メタデータ） (2020-02-24T13:06:55Z)
Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。