論文の概要: Kernel Heterogeneity Improves Sparseness of Natural Images
Representations
- arxiv url: http://arxiv.org/abs/2312.14685v1
- Date: Fri, 22 Dec 2023 13:36:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 14:51:13.821367
- Title: Kernel Heterogeneity Improves Sparseness of Natural Images
Representations
- Title（参考訳）: カーネルの不均一性は自然画像表現のスパース性を改善する
- Authors: Hugo J. Ladret, Christian Casanova, Laurent Udo Perrinet
- Abstract要約: 自然画像の構造と対応するスパース符号の関連性について検討する。
複数レベルの分散に分散した入力特徴の表現はスパース符号のスパース性やレジリエンスを大幅に向上させることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Both biological and artificial neural networks inherently balance their
performance with their operational cost, which balances their computational
abilities. Typically, an efficient neuromorphic neural network is one that
learns representations that reduce the redundancies and dimensionality of its
input. This is for instance achieved in sparse coding, and sparse
representations derived from natural images yield representations that are
heterogeneous, both in their sampling of input features and in the variance of
those features. Here, we investigated the connection between natural images'
structure, particularly oriented features, and their corresponding sparse
codes. We showed that representations of input features scattered across
multiple levels of variance substantially improve the sparseness and resilience
of sparse codes, at the cost of reconstruction performance. This echoes the
structure of the model's input, allowing to account for the heterogeneously
aleatoric structures of natural images. We demonstrate that learning kernel
from natural images produces heterogeneity by balancing between approximate and
dense representations, which improves all reconstruction metrics. Using a
parametrized control of the kernels' heterogeneity used by a convolutional
sparse coding algorithm, we show that heterogeneity emphasizes sparseness,
while homogeneity improves representation granularity. In a broader context,
these encoding strategy can serve as inputs to deep convolutional neural
networks. We prove that such variance-encoded sparse image datasets enhance
computational efficiency, emphasizing the benefits of kernel heterogeneity to
leverage naturalistic and variant input structures and possible applications to
improve the throughput of neuromorphic hardware.
- Abstract（参考訳）: 生物学的ニューラルネットワークと人工ニューラルネットワークの両方が本質的にその性能と運用コストのバランスをとり、計算能力のバランスをとる。
通常、効率的なニューロモルフィックニューラルネットワークは、入力の冗長性と次元性を減少させる表現を学ぶものである。
これは例えば、スパースコーディングで達成され、自然画像から派生したスパース表現は、入力特徴のサンプリングとそれらの特徴の分散の両方において、異質な表現をもたらす。
そこで本研究では,自然画像の構造,特に指向性特徴と対応するスパース符号の関連性を検討した。
その結果,複数レベルの分散に散在する入力特徴の表現により,スパースコードのスパース性やレジリエンスが大幅に向上し,復元性能が向上した。
これはモデル入力の構造を反響させ、自然画像の不均質なアレエータ構造を考慮できる。
自然画像からの学習核は近似表現と密度表現のバランスをとることによって異種性を生み出し、すべての再構成指標を改善する。
畳み込みスパース符号化アルゴリズムで用いられるカーネルの不均質性のパラメータ制御を用いて、不均質性がスパース性を強調し、均質性が表現の粒度を改善することを示した。
より広い文脈では、これらの符号化戦略は深層畳み込みニューラルネットワークへの入力として機能する。
このような分散符号化されたスパース画像データセットは計算効率を向上し、自然的および変動的な入力構造を利用するカーネルの不均一性の利点を強調し、ニューロモルフィックハードウェアのスループットを向上させることができる。
関連論文リスト
- Parseval Convolution Operators and Neural Networks [16.78532039510369]
まず、Parseval畳み込み演算子をエネルギー保存フィルタバンクのクラスとして同定する。
次に,基本Parsevalモジュールの連鎖によるフィルタバンクの設計・特定のための構築的アプローチを提案する。
生体医用画像の反復的再構成のためのCNNアルゴリズムの設計により,これらのツールの使用例を示す。
論文 参考訳（メタデータ） (2024-08-19T13:31:16Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Traditional Classification Neural Networks are Good Generators: They are
Competitive with DDPMs and GANs [104.72108627191041]
従来のニューラルネットワーク分類器は、最先端の生成モデルに匹敵する高品質な画像を生成することができることを示す。
マスクをベースとした再構成モジュールを提案し, 意味的勾配を意識し, 可視画像の合成を行う。
また,本手法は,画像テキスト基盤モデルに関して,テキスト・画像生成にも適用可能であることを示す。
論文 参考訳（メタデータ） (2022-11-27T11:25:35Z) - Convolutional Neural Generative Coding: Scaling Predictive Coding to
Natural Images [79.07468367923619]
畳み込み型神経生成符号化(Conv-NGC)を開発した。
我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。
本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
論文 参考訳（メタデータ） (2022-11-22T06:42:41Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Learning with convolution and pooling operations in kernel methods [8.528384027684192]
近年の実証研究により、階層的畳み込みカーネルは、画像分類タスクにおけるカーネルメソッドの性能を向上させることが示されている。
畳み込みアーキテクチャにおける近似と一般化の正確な相互作用について検討する。
この結果から,対象関数に適応したアーキテクチャの選択が,サンプルの複雑性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2021-11-16T09:00:44Z) - Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
入射神経表現は、一般的な信号を表す新しい道である。
現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。
メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
論文 参考訳（メタデータ） (2021-10-27T18:02:53Z) - Fast Symmetric Diffeomorphic Image Registration with Convolutional
Neural Networks [11.4219428942199]
本稿では,新しい非教師付き対称画像登録手法を提案する。
大規模脳画像データセットを用いた3次元画像登録法について検討した。
論文 参考訳（メタデータ） (2020-03-20T22:07:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。