論文の概要: Toward Moir\'e-Free and Detail-Preserving Demosaicking
- arxiv url: http://arxiv.org/abs/2305.08585v1
- Date: Mon, 15 May 2023 12:12:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 14:45:57.756345
- Title: Toward Moir\'e-Free and Detail-Preserving Demosaicking
- Title(参考訳): Moir\'e-free and Deserving Demosaicking
- Authors: Xuanchen Li, Yan Niu, Bo Zhao, Haoyuan Shi, Zitong An
- Abstract要約: 3D畳み込みは一般的に神経モデルを破壊するために使用される。
3Dコンボリューションは相補的な情報交換からRGB色スペクトルを暗黙的に阻害することを示す。
浅い3D畳み込みネットワークはモイアのアーティファクトに苦しむが、深い3D畳み込みは過度に滑らかさを引き起こす。
- 参考スコア(独自算出の注目度): 3.9064624794570593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D convolutions are commonly employed by demosaicking neural models, in the
same way as solving other image restoration problems. Counter-intuitively, we
show that 3D convolutions implicitly impede the RGB color spectra from
exchanging complementary information, resulting in spectral-inconsistent
inference of the local spatial high frequency components. As a consequence,
shallow 3D convolution networks suffer the Moir\'e artifacts, but deep 3D
convolutions cause over-smoothness. We analyze the fundamental difference
between demosaicking and other problems that predict lost pixels between
available ones (e.g., super-resolution reconstruction), and present the
underlying reasons for the confliction between Moir\'e-free and
detail-preserving. From the new perspective, our work decouples the common
standard convolution procedure to spectral and spatial feature aggregations,
which allow strengthening global communication in the spectral dimension while
respecting local contrast in the spatial dimension. We apply our demosaicking
model to two tasks: Joint Demosaicking-Denoising and Independently
Demosaicking. In both applications, our model substantially alleviates
artifacts such as Moir\'e and over-smoothness at similar or lower computational
cost to currently top-performing models, as validated by diverse evaluations.
Source code will be released along with paper publication.
- Abstract(参考訳): 3D畳み込みは、他の画像復元の問題を解決するのと同じように、神経モデルを破壊するために一般的に使用される。
反故意に、3Dコンボリューションは相補的な情報交換からRGB色スペクトルを暗黙的に阻害し、局所的な空間高周波成分のスペクトル不整合が生じることを示した。
その結果、浅い3D畳み込みネットワークはMoir\'eアーティファクトに悩まされるが、深い3D畳み込みは過度に滑らかになる。
デモサイクリングと、利用可能な画素間で失われた画素を予測する他の問題(例えば超解像再構成)との根本的な違いを分析し、moir\e-freeとディテール保存の衝突の原因を提示する。
新しい視点から,我々の研究は,共通標準畳み込み手順をスペクトルおよび空間特徴集合に分解し,空間次元における局所的なコントラストを尊重しながら,スペクトル次元におけるグローバルコミュニケーションを強化する。
デモサイクリングモデルを,共同デモサイクリングと独立デモサイクリングの2つのタスクに適用する。
いずれのアプリケーションにおいても,moir\'eやover-smoothnessといったアーチファクトを,現在のトップパフォーマンスモデルと同等あるいは低い計算コストで実質的に軽減する。
ソースコードは出版物とともに公開される。
関連論文リスト
- Deep Spectral Meshes: Multi-Frequency Facial Mesh Processing with Graph
Neural Networks [1.170907599257096]
メッシュ変形を低周波・高周波変形に分解する手法として,スペクトルメッシュを導入した。
提案フレームワーク上に3次元顔メッシュ合成のためのパラメトリックモデルを構築した。
このモデルでは、異なる周波数レベルを異なる、より適切な表現で表現することで、スペクトル分割をさらに活用する。
論文 参考訳(メタデータ) (2024-02-15T23:17:08Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳(メタデータ) (2023-12-02T02:27:58Z) - GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion
Probabilistic Models with Structured Noise [0.0]
本稿では,ガウススプラッティングに基づく3次元コンテンツ生成フレームワークについて紹介する。
我々は3次元ガウススプラッティングによって生成された摂動画像にマルチビューノイズ分布を用いる。
我々の知る限り,本手法は3次元コンテンツ生成プロセスの全領域にわたるガウススプラッティングの包括的利用が初めてである。
論文 参考訳(メタデータ) (2023-11-19T04:26:16Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-20T17:12:00Z) - Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View
Tomography [58.60249163402822]
未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。
提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
論文 参考訳(メタデータ) (2022-07-06T21:40:59Z) - The KFIoU Loss for Rotated Object Detection [115.334070064346]
本稿では,SkewIoU損失とトレンドレベルアライメントを両立できる近似的損失を考案する上で,有効な方法の1つとして論じる。
具体的には、対象をガウス分布としてモデル化し、SkewIoUのメカニズムを本質的に模倣するためにカルマンフィルタを採用する。
KFIoUと呼ばれる新たな損失は実装が容易で、正確なSkewIoUよりもうまく動作する。
論文 参考訳(メタデータ) (2022-01-29T10:54:57Z) - 3D Quasi-Recurrent Neural Network for Hyperspectral Image Denoising [25.641742612227148]
HS画像中の構造スペクトル相関を抽出するために3次元畳み込みを用いる。
因果依存をなくすために グローバルな方向構造が 交互に導入される。
HSI復調実験は、最先端の計算よりも大幅に改善された。
論文 参考訳(メタデータ) (2020-03-10T06:14:53Z) - Spatial-Spectral Residual Network for Hyperspectral Image
Super-Resolution [82.1739023587565]
ハイパースペクトル画像超解像のための新しいスペクトル空間残差ネットワーク(SSRNet)を提案する。
提案手法は,2次元畳み込みではなく3次元畳み込みを用いて空間スペクトル情報の探索を効果的に行うことができる。
各ユニットでは空間的・時間的分離可能な3次元畳み込みを用いて空間的・スペクトル的な情報を抽出する。
論文 参考訳(メタデータ) (2020-01-14T03:34:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。