論文の概要: A Unified Framework for U-Net Design and Analysis

• arxiv url: http://arxiv.org/abs/2305.19638v2
• Date: Wed, 10 Jan 2024 14:55:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 17:43:28.380850
• Title: A Unified Framework for U-Net Design and Analysis
• Title（参考訳）: U-Net設計と分析のための統一フレームワーク
• Authors: Christopher Williams, Fabian Falck, George Deligiannidis, Chris Holmes, Arnaud Doucet, Saifuddin Syed
• Abstract要約: 一般的なU-Netアーキテクチャの設計と分析のためのフレームワークを提供する。 学習可能なパラメータを含まない簡易なウェーブレット型エンコーダを用いたマルチResNet, U-Netsを提案する。 拡散モデルでは,高周波情報が指数関数的に高速にノイズに支配されていることを識別することができる。
• 参考スコア（独自算出の注目度）: 32.48954087522557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: U-Nets are a go-to, state-of-the-art neural architecture across numerous tasks for continuous signals on a square such as images and Partial Differential Equations (PDE), however their design and architecture is understudied. In this paper, we provide a framework for designing and analysing general U-Net architectures. We present theoretical results which characterise the role of the encoder and decoder in a U-Net, their high-resolution scaling limits and their conjugacy to ResNets via preconditioning. We propose Multi-ResNets, U-Nets with a simplified, wavelet-based encoder without learnable parameters. Further, we show how to design novel U-Net architectures which encode function constraints, natural bases, or the geometry of the data. In diffusion models, our framework enables us to identify that high-frequency information is dominated by noise exponentially faster, and show how U-Nets with average pooling exploit this. In our experiments, we demonstrate how Multi-ResNets achieve competitive and often superior performance compared to classical U-Nets in image segmentation, PDE surrogate modelling, and generative modelling with diffusion models. Our U-Net framework paves the way to study the theoretical properties of U-Nets and design natural, scalable neural architectures for a multitude of problems beyond the square.
• Abstract（参考訳）: U-Netは、画像や部分微分方程式(PDE)のような正方形上の連続的な信号のための多数のタスクにまたがる、最先端のニューラルネットワークアーキテクチャである。 本稿では,一般的なU-Netアーキテクチャの設計と解析のためのフレームワークを提供する。 U-Netにおけるエンコーダとデコーダの役割,その高分解能スケーリング限界,およびプリコンディショニングによるResNetsへの共役性を特徴付ける理論的結果を示す。 学習可能なパラメータを含まない簡易なウェーブレット型エンコーダを用いたマルチResNet, U-Netsを提案する。 さらに,関数制約,自然基底,あるいはデータの幾何学を符号化する新しいU-Netアーキテクチャの設計方法について述べる。 拡散モデルでは,高周波情報が指数関数的に高速にノイズに支配されていることを識別し,平均プールを持つU-Netがこれをどのように活用するかを示す。 実験では,画像分割,PDEサロゲートモデリング,拡散モデルを用いた生成モデルにおいて,従来のU-Netと比較して,マルチResNetが競争力があり,しばしば優れた性能を発揮することを示す。 我々のU-Netフレームワークは、U-Netの理論的性質を研究し、広場を越えて様々な問題のために自然でスケーラブルなニューラルアーキテクチャを設計する道を開く。

関連論文リスト

• U-Nets as Belief Propagation: Efficient Classification, Denoising, and Diffusion in Generative Hierarchical Models [21.212179660694098]
  木構造図形モデルである生成階層モデルについて検討し,言語領域と画像領域の両方で広く利用されている。 エンコーダ・デコーダ構造,長いスキップ接続,プーリング層とアップサンプリング層を用いて,U-Netsが自然に信条伝搬復号アルゴリズムを実装できることを実証する。 また、畳み込みニューラルネットワーク(ConvNets)の従来のアーキテクチャは、これらのモデル内の分類タスクに最適であることを示す。
  論文  参考訳（メタデータ） (2024-04-29T05:57:03Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• A Multi-Resolution Framework for U-Nets with Applications to Hierarchical VAEs [29.995904718691204]
  無限次元関数空間上のモデルの有限次元切り込みとしてU-Netを識別する多分解能フレームワークを定式化する。 次に、我々のフレームワークを活用して、U-Netアーキテクチャを持つ最先端階層型VAE(HVAE)を特定します。
  論文  参考訳（メタデータ） (2023-01-19T17:33:48Z)
• Towards Multi-spatiotemporal-scale Generalized PDE Modeling [4.924631198058705]
  渦流および速度関数形式における流体力学問題に対する様々なFNOとU-Netのようなアプローチの比較を行う。 一つの代理モデルを用いて異なるPDEパラメータと時間スケールへの一般化の有望な結果を示す。
  論文  参考訳（メタデータ） (2022-09-30T17:40:05Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Learning Deep Context-Sensitive Decomposition for Low-Light Image Enhancement [58.72667941107544]
  典型的なフレームワークは、照明と反射を同時に推定することであるが、特徴空間にカプセル化されたシーンレベルの文脈情報を無視する。 本研究では,空間スケールにおけるシーンレベルのコンテキスト依存を生かした,コンテキスト依存型分解ネットワークアーキテクチャを提案する。 チャネル数を減らして軽量なCSDNet(LiteCSDNet)を開発する。
  論文  参考訳（メタデータ） (2021-12-09T06:25:30Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• BiO-Net: Learning Recurrent Bi-directional Connections for Encoder-Decoder Architecture [82.64881585566825]
  本稿では,新たな双方向O字型ネットワーク(BiO-Net)を提案する。 提案手法は,バニラU-Netおよび他の最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2020-07-01T05:07:49Z)
• Tidying Deep Saliency Prediction Architectures [6.613005108411055]
  本稿では,入力特徴,マルチレベル統合,読み出しアーキテクチャ,損失関数の4つの主成分を同定する。 我々はSimpleNet と MDNSal という2つの新しいエンドツーエンドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-10T19:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。