論文の概要: U-Nets as Belief Propagation: Efficient Classification, Denoising, and Diffusion in Generative Hierarchical Models
- arxiv url: http://arxiv.org/abs/2404.18444v1
- Date: Mon, 29 Apr 2024 05:57:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 14:36:46.036505
- Title: U-Nets as Belief Propagation: Efficient Classification, Denoising, and Diffusion in Generative Hierarchical Models
- Title（参考訳）: U-Nets as Belief Propagation:Efficient Classification, Denoising and Diffusion in Generative Hierarchical Models
- Authors: Song Mei,
- Abstract要約: 木構造図形モデルである生成階層モデルについて検討し,言語領域と画像領域の両方で広く利用されている。
エンコーダ・デコーダ構造,長いスキップ接続,プーリング層とアップサンプリング層を用いて,U-Netsが自然に信条伝搬復号アルゴリズムを実装できることを実証する。
また、畳み込みニューラルネットワーク(ConvNets)の従来のアーキテクチャは、これらのモデル内の分類タスクに最適であることを示す。
- 参考スコア（独自算出の注目度）: 21.212179660694098
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: U-Nets are among the most widely used architectures in computer vision, renowned for their exceptional performance in applications such as image segmentation, denoising, and diffusion modeling. However, a theoretical explanation of the U-Net architecture design has not yet been fully established. This paper introduces a novel interpretation of the U-Net architecture by studying certain generative hierarchical models, which are tree-structured graphical models extensively utilized in both language and image domains. With their encoder-decoder structure, long skip connections, and pooling and up-sampling layers, we demonstrate how U-Nets can naturally implement the belief propagation denoising algorithm in such generative hierarchical models, thereby efficiently approximating the denoising functions. This leads to an efficient sample complexity bound for learning the denoising function using U-Nets within these models. Additionally, we discuss the broader implications of these findings for diffusion models in generative hierarchical models. We also demonstrate that the conventional architecture of convolutional neural networks (ConvNets) is ideally suited for classification tasks within these models. This offers a unified view of the roles of ConvNets and U-Nets, highlighting the versatility of generative hierarchical models in modeling complex data distributions across language and image domains.
- Abstract（参考訳）: U-Netはコンピュータビジョンにおいて最も広く使われているアーキテクチャの1つであり、画像のセグメンテーション、デノナイジング、拡散モデリングなどのアプリケーションにおける例外的な性能で有名である。
しかし、U-Netアーキテクチャの設計に関する理論的説明はまだ完全には確立されていない。
本稿では,木構造図形モデルである生成階層モデルを言語と画像の両領域で広く活用することによる,U-Netアーキテクチャの新たな解釈を紹介する。
エンコーダ・デコーダ構造、長いスキップ接続、プーリングおよびアップサンプリング層を用いて、U-Netがこのような生成階層モデルに自然に信条伝搬復号化アルゴリズムを実装し、効率的に復号化関数を近似する方法を実証する。
これにより、これらのモデル内のU-Netを使ってデノナイジング関数を学習するための効率的なサンプル複雑性が導かれる。
さらに,これらの発見が生成階層モデルにおける拡散モデルに与える影響についても論じる。
また、畳み込みニューラルネットワーク(ConvNets)の従来のアーキテクチャは、これらのモデル内の分類タスクに最適であることを示す。
これはConvNetsとU-Netsの役割を統一したビューを提供し、言語と画像ドメインをまたいだ複雑なデータ分散をモデル化する生成階層モデルの汎用性を強調している。
関連論文リスト
- SENetV2: Aggregated dense layer for channelwise and global
representations [0.0]
我々は,Squeeze残余モジュール内に,多分岐密度層である新しい多層パーセプトロンを導入する。
この融合により、チャネルワイドパターンを捕捉し、グローバルな知識を持つネットワークの能力が向上する。
ベンチマークデータセットの広範な実験を行い、モデルを検証し、確立したアーキテクチャと比較する。
論文 参考訳（メタデータ） (2023-11-17T14:10:57Z) - Deep Networks as Denoising Algorithms: Sample-Efficient Learning of
Diffusion Models in High-Dimensional Graphical Models [22.353510613540564]
生成モデルにおけるディープニューラルネットワークによるスコア関数の近似効率について検討する。
楽譜関数はしばしば変分推論法を用いてグラフィカルモデルでよく近似される。
深層ニューラルネットワークによってスコア関数が学習されるとき,拡散に基づく生成モデルに縛られた効率的なサンプル複雑性を提供する。
論文 参考訳（メタデータ） (2023-09-20T15:51:10Z) - A Unified Framework for U-Net Design and Analysis [32.48954087522557]
一般的なU-Netアーキテクチャの設計と分析のためのフレームワークを提供する。
学習可能なパラメータを含まない簡易なウェーブレット型エンコーダを用いたマルチResNet, U-Netsを提案する。
拡散モデルでは,高周波情報が指数関数的に高速にノイズに支配されていることを識別することができる。
論文 参考訳（メタデータ） (2023-05-31T08:07:44Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:34:22Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z) - Polynomial Networks in Deep Classifiers [55.90321402256631]
我々は深層ニューラルネットワークの研究を統一的な枠組みで行った。
私たちのフレームワークは、各モデルの誘導バイアスに関する洞察を提供します。
提案モデルの有効性を,標準画像および音声分類ベンチマークで評価した。
論文 参考訳（メタデータ） (2021-04-16T06:41:20Z) - Spatial Dependency Networks: Neural Layers for Improved Generative Image
Modeling [79.15521784128102]
画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。
空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。
空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-03-16T07:01:08Z) - CDLNet: Robust and Interpretable Denoising Through Deep Convolutional
Dictionary Learning [6.6234935958112295]
unrolled optimization networksは、ディープニューラルネットワークを構築するための解釈可能な代替案を提案する。
提案したモデルが,同様のパラメータ数にスケールすると,最先端のデノイジングモデルに勝ることを示す。
論文 参考訳（メタデータ） (2021-03-05T01:15:59Z) - Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
NLVR2およびDROPデータセット上でNMNの中間出力を評価する。
中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
論文 参考訳（メタデータ） (2020-05-02T06:50:35Z) - Spectrally Consistent UNet for High Fidelity Image Transformations [5.494315657902533]
畳み込みニューラルネットワーク(CNN)は、多くのイメージングタスクで使われている現在のデファクトモデルである。
本研究では、UNetsの構造バイアスとそれらが出力に与える影響を評価する方法を提案する。
スペクトル的に一貫した出力を提供する Guided Image Filter の新たな使用法に基づき,新しいアップサンプリングモジュールを提案する。
論文 参考訳（メタデータ） (2020-04-22T17:04:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。