論文の概要: Revisiting Global Statistics Aggregation for Improving Image Restoration

• arxiv url: http://arxiv.org/abs/2112.04491v1
• Date: Wed, 8 Dec 2021 12:52:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 15:25:57.747770
• Title: Revisiting Global Statistics Aggregation for Improving Image Restoration
• Title（参考訳）: 画像復元のためのグローバル統計アグリゲーションの再検討
• Authors: Xiaojie Chu, Liangyu Chen, Chengpeng Chen, Xin Lu
• Abstract要約: テスト時間局所統計変換器(TLSC)は画像復元器の性能を大幅に向上させる。 SEをTLSCに拡張することで、GoProデータセット上のPSNRにおいて、MPRNetは0.65dB、33.31dB、前回の0.6dBを超えている。
• 参考スコア（独自算出の注目度）: 8.803962179239385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Global spatial statistics, which are aggregated along entire spatial dimensions, are widely used in top-performance image restorers. For example, mean, variance in Instance Normalization (IN) which is adopted by HINet, and global average pooling (i.e. mean) in Squeeze and Excitation (SE) which is applied to MPRNet. This paper first shows that statistics aggregated on the patches-based/entire-image-based feature in the training/testing phase respectively may distribute very differently and lead to performance degradation in image restorers. It has been widely overlooked by previous works. To solve this issue, we propose a simple approach, Test-time Local Statistics Converter (TLSC), that replaces the region of statistics aggregation operation from global to local, only in the test time. Without retraining or finetuning, our approach significantly improves the image restorer's performance. In particular, by extending SE with TLSC to the state-of-the-art models, MPRNet boost by 0.65 dB in PSNR on GoPro dataset, achieves 33.31 dB, exceeds the previous best result 0.6 dB. In addition, we simply apply TLSC to the high-level vision task, i.e. semantic segmentation, and achieves competitive results. Extensive quantity and quality experiments are conducted to demonstrate TLSC solves the issue with marginal costs while significant gain. The code is available at https://github.com/megvii-research/tlsc.
• Abstract（参考訳）: 全空間次元に沿って集約されたグローバル空間統計は、トップパフォーマンス画像復元装置で広く利用されている。 例えば、HINetで採用されるインスタンス正規化(IN)と、MPRNetに適用されるSqueezeおよびExcitation(SE)におけるグローバル平均プール(平均)の分散である。 本稿では,まず,訓練/テスト段階におけるパッチベース/強調画像に基づく特徴をそれぞれ集約した統計値が,非常に異なる分布を呈し,画像復元装置の性能低下に繋がることを示す。 以前の作品では広く見過ごされてきた。 この問題を解決するために,テスト時間のみ,グローバルからローカルへの統計集約操作の領域を置き換えたテスト時間ローカル統計変換器(TLSC)を提案する。 再トレーニングや微調整がなければ,画像復元器の性能は大幅に向上する。 特に、SEをTLSCで最先端モデルに拡張することで、GoProデータセット上のPSNRにおいて、MPRNetは0.65dB、33.31dB、前回の0.6dBを超えている。 さらに,TLSCを高レベル視覚タスク,すなわち意味的セグメンテーションに適用し,競争的な結果を得る。 TLSCが限界コストで問題を解決し、大きな利益を得ることを示すため、広範囲な量と品質実験を行った。 コードはhttps://github.com/megvii-research/tlscで入手できる。

関連論文リスト

• AIR-HLoc: Adaptive Retrieved Images Selection for Efficient Visual Localisation [8.789742514363777]
  最先端の階層的ローカライゼーションパイプライン(HLOC)は2D-3D対応を確立するために画像検索(IR)を使用している。 本稿では,グローバルディスクリプタとローカルディスクリプタの関係について検討する。 本稿では,クエリのグローバルな記述子とデータベース内の記述子との類似性に基づいて$k$を調整する適応型戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-27T06:17:21Z)
• Global Features are All You Need for Image Retrieval and Reranking [2.6198864241281434]
  SuperGlobalは、両方のステージにグローバル機能のみを取り入れ、精度を犠牲にすることなく効率を向上する、新しいアプローチである。 我々の実験は、標準ベンチマークの最先端技術と比較して大幅に改善されている。 我々の2段階システムは、現在の単一ステージの状態を16.3%超え、高性能画像検索システムに対するスケーラブルで正確な代替手段を提供する。
  論文  参考訳（メタデータ） (2023-08-14T06:13:27Z)
• Patch-aware Batch Normalization for Improving Cross-domain Robustness [55.06956781674986]
  クロスドメインタスクは、トレーニングセットとテストセットが異なるディストリビューションに従うと、モデルのパフォーマンスが低下する課題を示す。 パッチ対応バッチ正規化(PBN)と呼ばれる新しい手法を提案する。 画像の局所的なパッチの違いを利用して、提案したPBNはモデルパラメータの堅牢性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-04-06T03:25:42Z)
• Inverse Image Frequency for Long-tailed Image Recognition [59.40098825416675]
  Inverse Image Frequency (IIF) と呼ばれる新しいデバイアス法を提案する。 IIFは畳み込みニューラルネットワークの分類層におけるロジットの乗法的マージン調整変換である。 我々の実験では、IIFは長い尾のベンチマークにおいて、最先端の技術を超越していることが示されている。
  論文  参考訳（メタデータ） (2022-09-11T13:31:43Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Permuted AdaIN: Reducing the Bias Towards Global Statistics in Image Classification [97.81205777897043]
  近年の研究では、畳み込みニューラルネットワーク分類器は形状を犠牲にしてテクスチャを過度に依存していることが示されている。 一方、形状と局所像の区別は類似しているが異なるが、一方、グローバル画像統計は異なる。 提案手法は,pAdaIN (Permuted Adaptive Instance Normalization) と呼ばれ,画像分類器の隠蔽層におけるグローバル統計の表現を減少させる。
  論文  参考訳（メタデータ） (2020-10-09T16:38:38Z)
• Tent: Fully Test-time Adaptation by Entropy Minimization [77.85911673550851]
  モデルは、テスト中に新しいデータや異なるデータに一般化するように適応する必要があります。 この完全なテスト時間適応の設定では、モデルはテストデータとそれ自身のパラメータしか持たない。 実験エントロピー最小化(tent): 予測のエントロピーによって測定された信頼度に対するモデルを最適化する。
  論文  参考訳（メタデータ） (2020-06-18T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。