論文の概要: Improving Feature Stability during Upsampling -- Spectral Artifacts and the Importance of Spatial Context
- arxiv url: http://arxiv.org/abs/2311.17524v2
- Date: Fri, 12 Jul 2024 20:58:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 02:44:20.723656
- Title: Improving Feature Stability during Upsampling -- Spectral Artifacts and the Importance of Spatial Context
- Title（参考訳）: アップサンプリング時の特徴安定性の向上 -スペクトルアーチファクトと空間文脈の重要性-
- Authors: Shashank Agnihotri, Julia Grabinski, Margret Keuper,
- Abstract要約: 画像復元、画像分割、不均一性推定など、さまざまなタスクにおいて、画素ワイズ予測が求められている。
以前の研究では、再サンプリング操作がエイリアスなどのアーティファクトの対象であることが示されている。
アップサンプリング中に大きな空間的コンテキストが利用できることで,安定かつ高品質な画素ワイズ予測が実現可能であることを示す。
- 参考スコア（独自算出の注目度）: 15.351461000403074
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pixel-wise predictions are required in a wide variety of tasks such as image restoration, image segmentation, or disparity estimation. Common models involve several stages of data resampling, in which the resolution of feature maps is first reduced to aggregate information and then increased to generate a high-resolution output. Previous works have shown that resampling operations are subject to artifacts such as aliasing. During downsampling, aliases have been shown to compromise the prediction stability of image classifiers. During upsampling, they have been leveraged to detect generated content. Yet, the effect of aliases during upsampling has not yet been discussed w.r.t. the stability and robustness of pixel-wise predictions. While falling under the same term (aliasing), the challenges for correct upsampling in neural networks differ significantly from those during downsampling: when downsampling, some high frequencies can not be correctly represented and have to be removed to avoid aliases. However, when upsampling for pixel-wise predictions, we actually require the model to restore such high frequencies that can not be encoded in lower resolutions. The application of findings from signal processing is therefore a necessary but not a sufficient condition to achieve the desirable output. In contrast, we find that the availability of large spatial context during upsampling allows to provide stable, high-quality pixel-wise predictions, even when fully learning all filter weights.
- Abstract（参考訳）: 画像復元、画像分割、不均一性推定など、さまざまなタスクにおいて、画素ワイズ予測が求められている。
共通モデルはデータ再サンプリングのいくつかの段階を含み、特徴マップの解像度をまず情報を集約し、次に高解像度の出力を生成する。
以前の研究では、再サンプリング操作がエイリアスなどのアーティファクトの対象であることが示されている。
ダウンサンプリング中、エイリアスは画像分類器の予測安定性を損なうことが示されている。
アップサンプリング中は、生成されたコンテンツを検出するために利用されています。
しかし、アップサンプリング中のエイリアスの影響については、ピクセルワイズ予測の安定性と堅牢性についてはまだ議論されていない。
同じ用語(エイリアス)に該当する一方で、ニューラルネットワークの正当性アップサンプリングの課題は、ダウンサンプリング中のそれと大きく異なる:ダウンサンプリングの際、一部の高頻度を正しく表現できず、エイリアスを避けるために除去する必要がある。
しかし、ピクセルワイズ予測のアップサンプリングでは、低解像度では符号化できないような高周波数を復元する必要がある。
したがって、信号処理による発見の応用は必要であるが、望ましい出力を達成するのに十分な条件ではない。
対照的に、アップサンプリング中の大きな空間コンテキストの可用性は、全てのフィルタ重みを完全に学習しても、安定で高品質な画素ワイドの予測を可能にする。
関連論文リスト
- Towards Efficient and Accurate CT Segmentation via Edge-Preserving Probabilistic Downsampling [2.1465347972460367]
限られたリソースやネットワークトレーニングの迅速化を必要とするイメージやラベルのダウンサンプリングは、小さなオブジェクトと薄いバウンダリの損失につながる。
これにより、セグメンテーションネットワークのイメージを正確に解釈し、詳細なラベルを予測する能力が損なわれ、元の解像度での処理と比較して性能が低下する。
エッジ保存型確率ダウンサンプリング(EPD)という新しい手法を提案する。
ローカルウィンドウ内のクラス不確実性を利用してソフトラベルを生成し、ウィンドウサイズがダウンサンプリング係数を規定する。
論文 参考訳（メタデータ） (2024-04-05T10:01:31Z) - Nearest Neighbor Classification for Classical Image Upsampling [0.0]
結果の解像度は何らかの要因によって改善され、最終的な結果が人間のテストに合格する。
アップスケーリングの時間的複雑さは、ダウンスケーリングの実装の損失に比較的近い。
論文 参考訳（メタデータ） (2024-03-28T17:31:23Z) - Fix your downsampling ASAP! Be natively more robust via Aliasing and
Spectral Artifact free Pooling [11.72025865314187]
畳み込みニューラルネットワークは、画像に一連の畳み込み、正規化、非線形性、およびダウンサンプリング操作をエンコードする。
以前の研究では、サンプリング中のわずかなミスでさえエイリアスに繋がる可能性があることが、ネットワークの堅牢性の欠如に直接起因していることが示された。
本稿では,アーティファクトを含まないアーティファクト・プール・ショートASAPを提案する。
論文 参考訳（メタデータ） (2023-07-19T07:47:23Z) - Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent
with Learned Distance Functions [77.32043242988738]
我々は、任意のアップサンプリングレートをサポートする、正確なポイントクラウドアップサンプリングのための新しいフレームワークを提案する。
提案手法は,まず,所定のアップサンプリング率に応じて低解像度の雲を補間する。
論文 参考訳（メタデータ） (2023-04-24T06:36:35Z) - Towards Bidirectional Arbitrary Image Rescaling: Joint Optimization and
Cycle Idempotence [76.93002743194974]
本稿では、任意の再スケーリング(アップスケーリングとダウンスケーリングの両方)を統一プロセスとして扱う方法を提案する。
提案モデルでは、アップスケーリングとダウンスケーリングを同時に学習し、双方向の任意のイメージ再スケーリングを実現する。
繰り返しにダウンスケーリング・アップスケーリング・サイクルが適用された場合, 復元精度が著しく低下することなく, サイクルイデオポテンス試験において堅牢であることが確認された。
論文 参考訳（メタデータ） (2022-03-02T07:42:15Z) - Upsampling layers for music source separation [12.982998040587665]
アップサンプリングアーティファクトは、トーナルアーティファクト(付加的な高周波ノイズ)またはフィルタリングアーティファクト(サブストアクティブ、一部のバンドを減衰させる)のいずれかである。
異なるアーティファクトがどのように相互作用し、モデルのパフォーマンスに与える影響を評価する。
以上の結果から, アップサンプラーに関連付けられたフィルター工芸品は, 客観的スコアが悪くても, 知覚的に好適であることが示唆された。
論文 参考訳（メタデータ） (2021-11-23T10:36:28Z) - Toward Real-World Super-Resolution via Adaptive Downsampling Models [58.38683820192415]
本研究では,制約のある事前知識を伴わずに未知のサンプル処理をシミュレートする手法を提案する。
対の例を使わずに対象LR画像の分布を模倣する汎用化可能な低周波損失(LFL)を提案する。
論文 参考訳（メタデータ） (2021-09-08T06:00:32Z) - Designing a Practical Degradation Model for Deep Blind Image
Super-Resolution [134.9023380383406]
単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。
本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
論文 参考訳（メタデータ） (2021-03-25T17:40:53Z) - Scale factor point spread function matching: Beyond aliasing in image
resampling [4.81150027600776]
撮像装置はNyquist-Shannonサンプリング定理を利用して、設計によるエイリアシングと冗長なオーバーサンプリングの両方を避ける。
医用画像再サンプリングでは、画像は連続関数と見なされ、空間変換によって歪められ、通常の格子上にサンプリングされる。
本論文では, 臨床応用における重要なバイアスにつながる可能性のある, エイリアシングを含むアーティファクトを紹介する。
論文 参考訳（メタデータ） (2021-01-16T11:40:58Z) - Learning Affinity-Aware Upsampling for Deep Image Matting [83.02806488958399]
アップサンプリングにおける学習親和性は、ディープ・ネットワークにおけるペアワイズ・インタラクションを効果的かつ効率的に利用するためのアプローチであることを示す。
特に、コンポジション1kマッチングデータセットの結果は、A2Uが強いベースラインに対してSAD測定値の14%の相対的な改善を達成していることを示している。
最先端のマッティングネットワークと比較すると、モデル複雑度は40%に過ぎず、8%高いパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2020-11-29T05:09:43Z) - Invertible Image Rescaling [118.2653765756915]
Invertible Rescaling Net (IRN) を開発した。
我々は、ダウンスケーリングプロセスにおいて、指定された分布に従う潜在変数を用いて、失われた情報の分布をキャプチャする。
論文 参考訳（メタデータ） (2020-05-12T09:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。