論文の概要: Spatial Dependency Networks: Neural Layers for Improved Generative Image
Modeling
- arxiv url: http://arxiv.org/abs/2103.08877v1
- Date: Tue, 16 Mar 2021 07:01:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-17 13:39:08.782247
- Title: Spatial Dependency Networks: Neural Layers for Improved Generative Image
Modeling
- Title(参考訳): 空間依存ネットワーク:生成画像モデリングを改善するニューラルネットワーク層
- Authors: {\DJ}or{\dj}e Miladinovi\'c, Aleksandar Stani\'c, Stefan Bauer,
J\"urgen Schmidhuber, Joachim M. Buhmann
- Abstract要約: 画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。
空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。
空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
- 参考スコア(独自算出の注目度): 79.15521784128102
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How to improve generative modeling by better exploiting spatial regularities
and coherence in images? We introduce a novel neural network for building image
generators (decoders) and apply it to variational autoencoders (VAEs). In our
spatial dependency networks (SDNs), feature maps at each level of a deep neural
net are computed in a spatially coherent way, using a sequential gating-based
mechanism that distributes contextual information across 2-D space. We show
that augmenting the decoder of a hierarchical VAE by spatial dependency layers
considerably improves density estimation over baseline convolutional
architectures and the state-of-the-art among the models within the same class.
Furthermore, we demonstrate that SDN can be applied to large images by
synthesizing samples of high quality and coherence. In a vanilla VAE setting,
we find that a powerful SDN decoder also improves learning disentangled
representations, indicating that neural architectures play an important role in
this task. Our results suggest favoring spatial dependency over convolutional
layers in various VAE settings. The accompanying source code is given at
https://github.com/djordjemila/sdn.
- Abstract(参考訳): 画像の空間的規則性とコヒーレンスをうまく活用して生成モデルを改善するには?
本稿では,イメージジェネレータ(デコーダ)を構築するニューラルネットワークを導入し,それを可変オートエンコーダ(VAE)に適用する。
空間依存ネットワーク(sdns)では、2次元空間に文脈情報を分散する逐次ゲーティングに基づくメカニズムを用いて、深層ニューラルネットワークの各レベルの特徴マップを空間的にコヒーレントな方法で計算する。
また,空間依存層による階層型vaeのデコーダの強化は,ベースライン畳み込み型アーキテクチャの密度推定と,同一クラス内のモデル間の状態推定を大幅に改善することを示した。
さらに,高品質かつコヒーレンスなサンプルを合成することにより,sdnを大規模画像に適用できることを実証する。
バニラVAE設定では、強力なSDNデコーダが、アンタングル表現の学習を改善し、このタスクにおいてニューラルネットワークが重要な役割を果たすことを示す。
以上より,様々なvae設定において畳み込み層に対する空間依存が好まれることが示唆された。
付随するソースコードはhttps://github.com/djordjemila/sdnで提供される。
関連論文リスト
- A Heterogeneous Dynamic Convolutional Neural Network for Image
Super-resolution [111.97970576223622]
画像超解像(HDSRNet)における異種動的畳み込みネットワークを提案する。
下位のネットワークは対称アーキテクチャを使用して、異なるレイヤの関係を強化し、より構造的な情報をマイニングする。
実験結果から,HDSRNetは画像解決に有効であることが示唆された。
論文 参考訳(メタデータ) (2024-02-24T03:44:06Z) - DiffiT: Diffusion Vision Transformers for Image Generation [94.50195596375316]
Diffusion Vision Transformers (DiffiT) はU字型エンコーダとデコーダを備えたハイブリッド階層アーキテクチャである。
DiffiTは、高忠実度画像を生成するのに驚くほど効果的です。
潜在領域では、DiffiTはImageNet-256データセットで1.73の新しいSOTA FIDスコアを達成している。
論文 参考訳(メタデータ) (2023-12-04T18:57:01Z) - SENetV2: Aggregated dense layer for channelwise and global
representations [0.0]
我々は,Squeeze残余モジュール内に,多分岐密度層である新しい多層パーセプトロンを導入する。
この融合により、チャネルワイドパターンを捕捉し、グローバルな知識を持つネットワークの能力が向上する。
ベンチマークデータセットの広範な実験を行い、モデルを検証し、確立したアーキテクチャと比較する。
論文 参考訳(メタデータ) (2023-11-17T14:10:57Z) - Mechanism of feature learning in convolutional neural networks [14.612673151889615]
我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。
我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。
次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
論文 参考訳(メタデータ) (2023-09-01T16:30:02Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。
我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。
実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
論文 参考訳(メタデータ) (2022-07-08T05:07:19Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - Latent Code-Based Fusion: A Volterra Neural Network Approach [21.25021807184103]
最近導入されたVolterra Neural Networks(VNN)を用いた深層構造エンコーダを提案する。
提案手法は,cnnベースのオートエンコーダに対して,より頑健な分類性能を持つサンプル複雑性を示す。
論文 参考訳(メタデータ) (2021-04-10T18:29:01Z) - Sparse Coding Driven Deep Decision Tree Ensembles for Nuclear
Segmentation in Digital Pathology Images [15.236873250912062]
デジタル病理画像セグメンテーションタスクにおいて、ディープニューラルネットワークと高い競争力を持つ、容易に訓練されながら強力な表現学習手法を提案する。
ScD2TEと略すこの手法はスパースコーディング駆動の深層決定木アンサンブルと呼ばれ、表現学習の新しい視点を提供する。
論文 参考訳(メタデータ) (2020-08-13T02:59:31Z) - The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network
Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。
この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。
画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文 参考訳(メタデータ) (2020-06-29T17:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。