論文の概要: Hierarchical Information Flow for Generalized Efficient Image Restoration

• arxiv url: http://arxiv.org/abs/2411.18588v1
• Date: Wed, 27 Nov 2024 18:30:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:17.708166
• Title: Hierarchical Information Flow for Generalized Efficient Image Restoration
• Title（参考訳）: 汎用画像復元のための階層型情報フロー
• Authors: Yawei Li, Bin Ren, Jingyun Liang, Rakesh Ranjan, Mengyuan Liu, Nicu Sebe, Ming-Hsuan Yang, Luca Benini,
• Abstract要約: 画像復元のための階層型情報フロー機構であるHi-IRを提案する。 Hi-IRは、劣化した画像を表す階層的な情報ツリーを3段階にわたって構築する。 7つの共通画像復元タスクにおいて、Hi-IRはその有効性と一般化性を達成する。
• 参考スコア（独自算出の注目度）: 108.83750852785582
• License:
• Abstract: While vision transformers show promise in numerous image restoration (IR) tasks, the challenge remains in efficiently generalizing and scaling up a model for multiple IR tasks. To strike a balance between efficiency and model capacity for a generalized transformer-based IR method, we propose a hierarchical information flow mechanism for image restoration, dubbed Hi-IR, which progressively propagates information among pixels in a bottom-up manner. Hi-IR constructs a hierarchical information tree representing the degraded image across three levels. Each level encapsulates different types of information, with higher levels encompassing broader objects and concepts and lower levels focusing on local details. Moreover, the hierarchical tree architecture removes long-range self-attention, improves the computational efficiency and memory utilization, thus preparing it for effective model scaling. Based on that, we explore model scaling to improve our method's capabilities, which is expected to positively impact IR in large-scale training settings. Extensive experimental results show that Hi-IR achieves state-of-the-art performance in seven common image restoration tasks, affirming its effectiveness and generalizability.
• Abstract（参考訳）: 視覚変換器は多数の画像復元(IR)タスクにおいて有望であるが、複数のIRタスクのモデルの効率的な一般化とスケールアップが課題である。 一般化変換器を用いたIR法において,効率性とモデル容量のバランスをとるために,階層型情報フロー機構(Hi-IR)を提案し,ボトムアップ方式で画素間の情報を段階的に伝播させる。 Hi-IRは、劣化した画像を表す階層的な情報ツリーを3段階にわたって構築する。 各レベルは異なる種類の情報をカプセル化しており、より高いレベルはより広いオブジェクトや概念を包含し、低いレベルは局所的な詳細に焦点を当てている。 さらに、階層木アーキテクチャは、長期の自己注意を排除し、計算効率とメモリ利用を向上し、効率的なモデルスケーリングのための準備を行う。 そこで本研究では,大規模トレーニング環境でIRに肯定的な影響が期待できる,手法の能力向上のためのモデルスケーリングについて検討する。 広汎な実験結果から、Hi-IRは7つの共通画像復元タスクにおいて最先端の性能を達成し、その有効性と一般化性を確認した。

関連論文リスト

• FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration [66.61201445650323]
  既存の手法は現実のシナリオにおける一般化ボトルネックに悩まされる。 既存のトレーニングデータに対して,2つの大きなメリットがある,100万規模のデータセットをコントリビュートしています。 実世界のシナリオにおいて,より広範囲の復元作業に対処するために,ロバストなモデルFoundIRを提案する。
  論文  参考訳（メタデータ） (2024-12-02T12:08:40Z)
• HiTSR: A Hierarchical Transformer for Reference-based Super-Resolution [6.546896650921257]
  参照ベース画像超解像のための階層変換モデルであるHiTSRを提案する。 GAN文献の二重注意ブロックを組み込むことで,アーキテクチャとトレーニングパイプラインの合理化を図る。 我々のモデルは、SUN80、Urban100、Manga109を含む3つのデータセットで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-08-30T01:16:29Z)
• Multi-Scale Representation Learning for Image Restoration with State-Space Model [13.622411683295686]
  効率的な画像復元のためのマルチスケール状態空間モデル(MS-Mamba)を提案する。 提案手法は,計算複雑性を低く保ちながら,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-19T16:42:58Z)
• ECAFormer: Low-light Image Enhancement using Cross Attention [11.554554006307836]
  低照度画像強調(LLIE)はコンピュータビジョンにおいて重要である。 我々はクロスアテンショントランス(ECAFormer)による階層的相互強化を設計する。 我々は,ECAFormerが複数のベンチマークで競合性能に到達し,PSNRを最適化法よりも3%近く改善したことを示す。
  論文  参考訳（メタデータ） (2024-06-19T07:21:31Z)
• Efficient Degradation-aware Any Image Restoration [83.92870105933679]
  我々は,低ランク体制下での学習者(DaLe)を用いた効率的なオールインワン画像復元システムである textitDaAIR を提案する。 モデルキャパシティを入力劣化に動的に割り当てることにより、総合学習と特定の学習を統合した効率的な復調器を実現する。
  論文  参考訳（メタデータ） (2024-05-24T11:53:27Z)
• Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• IPT-V2: Efficient Image Processing Transformer using Hierarchical Attentions [26.09373405194564]
  我々は,IPTV2と呼ばれる階層的な注意を払って,効率的な画像処理トランスフォーマアーキテクチャを提案する。 我々は、局所的およびグローバルな受容領域における適切なトークン相互作用を得るために、焦点コンテキスト自己注意(FCSA)とグローバルグリッド自己注意(GGSA)を採用する。 提案した IPT-V2 は,様々な画像処理タスクにおいて,デノナイズ,デブロアリング,デコライニングを網羅し,従来の手法よりも性能と計算の複雑さのトレードオフを得る。
  論文  参考訳（メタデータ） (2024-03-31T10:01:20Z)
• Diffusion Model Based Visual Compensation Guidance and Visual Difference Analysis for No-Reference Image Quality Assessment [78.21609845377644]
  本稿では, 複雑な関係をモデル化する能力を示す, 最先端(SOTA)生成モデルを提案する。 生成した拡張画像とノイズを含む画像を利用する新しい拡散復元ネットワークを考案する。 2つの視覚評価枝は、得られた高レベル特徴情報を包括的に解析するように設計されている。
  論文  参考訳（メタデータ） (2024-02-22T09:39:46Z)
• Prompt-based Ingredient-Oriented All-in-One Image Restoration [0.0]
  複数の画像劣化課題に対処する新しいデータ成分指向手法を提案する。 具体的には、エンコーダを用いて特徴をキャプチャし、デコーダを誘導するための劣化情報を含むプロンプトを導入する。 我々の手法は最先端技術と競争的に機能する。
  論文  参考訳（メタデータ） (2023-09-06T15:05:04Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。