論文の概要: Including local feature interactions in deep non-negative matrix factorization networks improves performance

• arxiv url: http://arxiv.org/abs/2503.20398v1
• Date: Wed, 26 Mar 2025 10:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:21:45.613005
• Title: Including local feature interactions in deep non-negative matrix factorization networks improves performance
• Title（参考訳）: 深い非負行列因数分解ネットワークにおける局所的特徴相互作用による性能向上
• Authors: Mahbod Nouri, David Rotermund, Alberto Garcia-Ortiz, Klaus R. Pawelzik,
• Abstract要約: 非負行列分解(NMF)は、正の長距離相互作用の生物学的制約を捉える。 NMFモジュールによる深層畳み込みネットワークの性能は、同様の大きさのCNNと一致しない。 この設定は、深層ネットワークの性能を向上させる可能性を秘めた、皮質(ハイパー)カラムにおける処理の生物学的により妥当なエミュレーションと見なすことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The brain uses positive signals as a means of signaling. Forward interactions in the early visual cortex are also positive, realized by excitatory synapses. Only local interactions also include inhibition. Non-negative matrix factorization (NMF) captures the biological constraint of positive long-range interactions and can be implemented with stochastic spikes. While NMF can serve as an abstract formalization of early neural processing in the visual system, the performance of deep convolutional networks with NMF modules does not match that of CNNs of similar size. However, when the local NMF modules are each followed by a module that mixes the NMF's positive activities, the performances on the benchmark data exceed that of vanilla deep convolutional networks of similar size. This setting can be considered a biologically more plausible emulation of the processing in cortical (hyper-)columns with the potential to improve the performance of deep networks.
• Abstract（参考訳）: 脳はシグナル伝達の手段として正の信号を使用する。 初期の視覚野における前方の相互作用も正であり、興奮性シナプスによって実現される。 局所的な相互作用は阻害も含む。 非負行列分解(NMF)は正の長距離相互作用の生物学的制約を捉え、確率スパイクで実装できる。 NMFは、視覚系における初期のニューラル処理の抽象的な形式化として機能するが、NMFモジュールによる深層畳み込みネットワークの性能は、同様の大きさのCNNと一致しない。 しかし、ローカルなNMFモジュールにNMFの正のアクティビティを混合するモジュールが続くと、ベンチマークデータのパフォーマンスは、同じ大きさのバニラ深層畳み込みネットワークを上回る。 この設定は、深層ネットワークの性能を向上させる可能性を秘めた、皮質(ハイパー)カラムにおける処理の生物学的により妥当なエミュレーションと見なすことができる。

関連論文リスト

• On How Iterative Magnitude Pruning Discovers Local Receptive Fields in Fully Connected Neural Networks [92.66231524298554]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、高性能にトレーニングできるスパース・コンボリューションワークを抽出する一般的な方法となっている。 近年の研究では、IMPを完全連結ニューラルネットワーク(FCN)に適用することで、局所受容野(RF)の出現につながることが示されている。 非ガウス的統計量(例えばシャープエッジ)を用いた合成画像のトレーニングは、FCNにおける局所RFの出現を促進するのに十分であることを示す結果から着想を得て、IMPが非ガウス的統計量のFCN表現を反復的に増加させるという仮説を立てた。
  論文  参考訳（メタデータ） (2024-12-09T14:56:23Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• Time-independent Spiking Neuron via Membrane Potential Estimation for Efficient Spiking Neural Networks [4.142699381024752]
  スパイキングニューラルネットワーク(SNN)の計算的非効率性は、主に膜電位の逐次更新によるものである。 スパイキングニューロンの並列計算法である膜電位推定並列スパイキングニューロン(MPE-PSN)を提案する。 提案手法では,特に高次ニューロン密度条件下での計算効率の向上が期待できる。
  論文  参考訳（メタデータ） (2024-09-08T05:14:22Z)
• Hierarchical Spatio-Temporal State-Space Modeling for fMRI Analysis [1.89314691075208]
  実験結果から,脳の分類と回帰作業におけるFST-Mambaモデルの有効性が示唆された。 我々の研究は、脳発見における注意のないシーケンスモデリングの可能性を明らかにしている。
  論文  参考訳（メタデータ） (2024-08-23T13:58:14Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Equivariant Matrix Function Neural Networks [1.8717045355288808]
  解析行列同変関数を通じて非局所的相互作用をパラメータ化する新しいアーキテクチャであるマトリックス関数ニューラルネットワーク(MFNs)を導入する。 MFNは量子系の複雑な非局所的な相互作用を捉えることができ、新しい最先端の力場への道を歩むことができる。
  論文  参考訳（メタデータ） (2023-10-16T14:17:00Z)
• Joint Channel Estimation and Feedback with Masked Token Transformers in Massive MIMO Systems [74.52117784544758]
  本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。 エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。 提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
  論文  参考訳（メタデータ） (2023-06-08T06:15:17Z)
• SymNMF-Net for The Symmetric NMF Problem [62.44067422984995]
  我々は,Symmetric NMF問題に対するSymNMF-Netと呼ばれるニューラルネットワークを提案する。 各ブロックの推測は最適化の単一イテレーションに対応することを示す。 実世界のデータセットに関する実証的な結果は、我々のSymNMF-Netの優位性を示している。
  論文  参考訳（メタデータ） (2022-05-26T08:17:39Z)
• Scalable Partial Explainability in Neural Networks via Flexible Activation Functions [13.71739091287644]
  ディープニューラルネットワーク(NN)によって与えられる高次元の特徴と決定は、そのメカニズムを公開するために新しいアルゴリズムと方法を必要とする。 現在の最先端のNN解釈手法は、NN構造や操作自体よりも、NN出力と入力との直接的な関係に重点を置いている。 本稿では,スケーラブルなトポロジの下でのアクティベーション関数(AF)の役割を象徴的に説明することにより,部分的に説明可能な学習モデルを実現する。
  論文  参考訳（メタデータ） (2020-06-10T20:30:15Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。