Fugu-MT 論文翻訳(概要): A Multi-Resolution Framework for U-Nets with Applications to Hierarchical VAEs

論文の概要: A Multi-Resolution Framework for U-Nets with Applications to Hierarchical VAEs

arxiv url: http://arxiv.org/abs/2301.08187v1
Date: Thu, 19 Jan 2023 17:33:48 GMT
ステータス: 処理完了
システム内更新日: 2023-01-20 14:32:04.325340
Title: A Multi-Resolution Framework for U-Nets with Applications to Hierarchical VAEs
Title（参考訳）: 階層型VAEを用いたU-Netのマルチリゾリューションフレームワーク
Authors: Fabian Falck, Christopher Williams, Dominic Danks, George Deligiannidis, Christopher Yau, Chris Holmes, Arnaud Doucet, Matthew Willetts
Abstract要約: 無限次元関数空間上のモデルの有限次元切り込みとしてU-Netを識別する多分解能フレームワークを定式化する。次に、我々のフレームワークを活用して、U-Netアーキテクチャを持つ最先端階層型VAE(HVAE)を特定します。
参考スコア（独自算出の注目度）: 29.995904718691204
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: U-Net architectures are ubiquitous in state-of-the-art deep learning, however their regularisation properties and relationship to wavelets are understudied. In this paper, we formulate a multi-resolution framework which identifies U-Nets as finite-dimensional truncations of models on an infinite-dimensional function space. We provide theoretical results which prove that average pooling corresponds to projection within the space of square-integrable functions and show that U-Nets with average pooling implicitly learn a Haar wavelet basis representation of the data. We then leverage our framework to identify state-of-the-art hierarchical VAEs (HVAEs), which have a U-Net architecture, as a type of two-step forward Euler discretisation of multi-resolution diffusion processes which flow from a point mass, introducing sampling instabilities. We also demonstrate that HVAEs learn a representation of time which allows for improved parameter efficiency through weight-sharing. We use this observation to achieve state-of-the-art HVAE performance with half the number of parameters of existing models, exploiting the properties of our continuous-time formulation.
Abstract（参考訳）: U-Netアーキテクチャは最先端のディープラーニングではユビキタスだが、それらの正規化特性とウェーブレットとの関係は検討されている。本稿では,U-Netを無限次元関数空間上のモデルの有限次元切り込みとして識別する多分解能フレームワークを定式化する。平均プーリングが二乗可積分関数空間内の射影と一致することを証明し、平均プーリングを持つU-Netがデータのハールウェーブレット基底表現を暗黙的に学習することを示す理論的結果を提供する。次に,U-Netアーキテクチャを持つ最先端階層型VAE(HVAE)を,点質量から流れる多分解能拡散過程の2段階のEuler離散化の一種として同定し,サンプリング不安定性を導入する。また,HVAEが時間表現を学習し,重み付けによるパラメータ効率の向上を実現することも実証した。私たちはこの観察を既存のモデルのパラメータ数の半分で最先端のhvae性能を達成するために使用し、継続的な定式化の特性を生かしています。

関連論文リスト

TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文参考訳（メタデータ） (2024-04-15T06:01:48Z)
SineNet: Learning Temporal Dynamics in Time-Dependent Partial Differential Equations [46.244771659503314]
本稿では、複数の連続接続されたU字型ネットワークブロックからなるSineNetを提案する。 SineNetでは、高解像度の機能は、複数のステージを通じて徐々に進化し、各ステージ内でのミスアライメントの量を減らす。提案手法は,Navier-Stokes方程式や浅水方程式など,複数のPDEデータセット上で厳密に検証されている。
論文参考訳（メタデータ） (2024-03-28T15:41:41Z)
Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
論文参考訳（メタデータ） (2024-02-05T03:25:04Z)
Non-Separable Multi-Dimensional Network Flows for Visual Computing [62.50191141358778]
本研究では,非分離型多次元ネットワークフローに対する新しい定式化法を提案する。フローは次元ごとに定義されるので、最大化フローは自動的に最適な特徴次元を選択する。概念実証として,マルチオブジェクト追跡問題にフォーマリズムを適用し,ノイズに対するロバスト性の観点からMOT16ベンチマークのスカラー定式化よりも優れていることを示す。
論文参考訳（メタデータ） (2023-05-15T13:21:44Z)
ParaFormer: Parallel Attention Transformer for Efficient Feature Matching [8.552303361149612]
本稿ではParaFormerという新しい並列アテンションモデルを提案する。振幅と位相という概念を通じて特徴とキーポイントの位置を融合させ、平行して自己と横断性を統合する。ホモグラフィー推定、ポーズ推定、画像マッチングなど様々な応用実験により、ParaFormerが最先端の性能を達成することを示す。効率のよいParaFormer-Uは、既存のアテンションベースモデルの50%未満のFLOPで同等のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-03-02T03:29:16Z)
FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文参考訳（メタデータ） (2022-10-10T12:35:02Z)
Probabilistic partition of unity networks for high-dimensional regression problems [1.0227479910430863]
我々は高次元回帰問題におけるユニタリネットワーク(PPOU-Net)モデルの分割について検討する。本稿では適応次元の減少に着目した一般的な枠組みを提案する。 PPOU-Netsは、数値実験において、同等の大きさのベースライン完全接続ニューラルネットワークを一貫して上回っている。
論文参考訳（メタデータ） (2022-10-06T06:01:36Z)
Towards Multi-spatiotemporal-scale Generalized PDE Modeling [4.924631198058705]
渦流および速度関数形式における流体力学問題に対する様々なFNOとU-Netのようなアプローチの比較を行う。一つの代理モデルを用いて異なるPDEパラメータと時間スケールへの一般化の有望な結果を示す。
論文参考訳（メタデータ） (2022-09-30T17:40:05Z)
Pareto-Optimal Bit Allocation for Collaborative Intelligence [39.11380888887304]
コラボレーションインテリジェンス(CI)は、人工知能(AI)ベースのサービスをモバイル/エッジデバイスにデプロイするための、有望なフレームワークとして登場した。本稿では,マルチストリームCIシステムにおける特徴符号化のためのビット割り当てについて検討する。
論文参考訳（メタデータ） (2020-09-25T20:48:33Z)
Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。