論文の概要: Residual Multiplicative Filter Networks for Multiscale Reconstruction
- arxiv url: http://arxiv.org/abs/2206.00746v1
- Date: Wed, 1 Jun 2022 20:16:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 13:54:35.126162
- Title: Residual Multiplicative Filter Networks for Multiscale Reconstruction
- Title(参考訳): マルチスケール再構成のための残差乗算フィルタネットワーク
- Authors: Shayan Shekarforoush, David B. Lindell, David J. Fleet, Marcus A.
Brubaker
- Abstract要約: 我々は,学習した再構成の周波数サポートをきめ細かな制御で粗大な最適化を可能にする,新しい座標ネットワークアーキテクチャとトレーニング手法を提案する。
これらの修正によって、自然画像への粗大なフィッティングのマルチスケール最適化が実現されることを示す。
次に, 単粒子Creo-EM再構成問題に対する合成データセットのモデル評価を行った。
- 参考スコア(独自算出の注目度): 24.962697695403037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coordinate networks like Multiplicative Filter Networks (MFNs) and BACON
offer some control over the frequency spectrum used to represent continuous
signals such as images or 3D volumes. Yet, they are not readily applicable to
problems for which coarse-to-fine estimation is required, including various
inverse problems in which coarse-to-fine optimization plays a key role in
avoiding poor local minima. We introduce a new coordinate network architecture
and training scheme that enables coarse-to-fine optimization with fine-grained
control over the frequency support of learned reconstructions. This is achieved
with two key innovations. First, we incorporate skip connections so that
structure at one scale is preserved when fitting finer-scale structure. Second,
we propose a novel initialization scheme to provide control over the model
frequency spectrum at each stage of optimization. We demonstrate how these
modifications enable multiscale optimization for coarse-to-fine fitting to
natural images. We then evaluate our model on synthetically generated datasets
for the the problem of single-particle cryo-EM reconstruction. We learn high
resolution multiscale structures, on par with the state-of-the art.
- Abstract(参考訳): MFN(Multiplicative Filter Networks)やBACON(BACON)のようなコーディネートネットワークは、画像や3Dボリュームなどの連続的な信号を表すために使用される周波数スペクトルをある程度制御する。
しかし, 局所的な極小化を回避する上で, 粗粒度最適化が重要な役割を果たす様々な逆問題など, 粗粒度推定が必要な問題には容易に適用できない。
我々は,学習した再構成の周波数サポートをきめ細かな制御で粗大な最適化を可能にする新しい座標ネットワークアーキテクチャとトレーニング手法を提案する。
これは2つの重要な革新によって達成される。
まず,より微細な構造を適合させる際に,一スケールの構造が保存されるようにスキップ接続を組み込む。
第2に、最適化の各段階でモデル周波数スペクトルを制御するための新しい初期化方式を提案する。
これらの修正により、自然画像への粗大なフィッティングのマルチスケール最適化が可能となることを示す。
次に, 単粒子Creo-EM再構成問題に対する合成データセットのモデル評価を行った。
我々は,最先端技術と同等の高解像度マルチスケール構造を学習する。
関連論文リスト
- DGTR: Distributed Gaussian Turbo-Reconstruction for Sparse-View Vast Scenes [81.56206845824572]
新規ビュー合成(NVS)アプローチは、広大なシーン再構築において重要な役割を担っている。
大規模な環境下では、復元の質が悪くなる場合が少なくない。
本稿では,スパース・ビュー・ワイド・シーンのための効率的なガウス再構成のための分散フレームワークであるDGTRを提案する。
論文 参考訳(メタデータ) (2024-11-19T07:51:44Z) - MsDC-DEQ-Net: Deep Equilibrium Model (DEQ) with Multi-scale Dilated
Convolution for Image Compressive Sensing (CS) [0.0]
圧縮センシング(CS)は、従来のサンプリング法よりも少ない測定値を用いてスパース信号の回復を可能にする技術である。
我々はCSを用いた自然画像再構成のための解釈可能かつ簡潔なニューラルネットワークモデルを構築した。
MsDC-DEQ-Netと呼ばれるこのモデルは、最先端のネットワークベースの手法と比較して、競争力のある性能を示す。
論文 参考訳(メタデータ) (2024-01-05T16:25:58Z) - Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳(メタデータ) (2023-12-24T08:42:37Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。
本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。
LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-09-26T22:22:30Z) - CM-GAN: Image Inpainting with Cascaded Modulation GAN and Object-Aware
Training [112.96224800952724]
複雑な画像に大きな穴をあける際の可視像構造を生成するためのカスケード変調GAN(CM-GAN)を提案する。
各デコーダブロックにおいて、まず大域変調を適用し、粗い意味認識合成構造を行い、次に大域変調の出力に空間変調を適用し、空間適応的に特徴写像を更に調整する。
さらに,ネットワークがホール内の新たな物体を幻覚させるのを防ぐため,実世界のシナリオにおける物体除去タスクのニーズを満たすために,オブジェクト認識型トレーニングスキームを設計する。
論文 参考訳(メタデータ) (2022-03-22T16:13:27Z) - Spectral Compressive Imaging Reconstruction Using Convolution and
Contextual Transformer [6.929652454131988]
本稿では,CCoT(Contextual Transformer)ブロックというハイブリッドネットワークモジュールを提案する。
提案したCCoTブロックを,一般化された交互投影アルゴリズムに基づく深層展開フレームワークに統合し,さらにGAP-CTネットワークを提案する。
論文 参考訳(メタデータ) (2022-01-15T06:30:03Z) - Joint Frequency and Image Space Learning for MRI Reconstruction and
Analysis [7.821429746599738]
本稿では、周波数空間データから再構成するための汎用的なビルディングブロックとして、周波数と画像の特徴表現を明示的に組み合わせたニューラルネットワーク層が利用できることを示す。
提案した共同学習方式により、周波数空間に固有のアーティファクトの補正と画像空間表現の操作を両立させ、ネットワークのすべての層でコヒーレントな画像構造を再構築することができる。
論文 参考訳(メタデータ) (2020-07-02T23:54:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。