論文の概要: TSFormer: A Robust Framework for Efficient UHD Image Restoration

• arxiv url: http://arxiv.org/abs/2411.10951v2
• Date: Tue, 19 Nov 2024 23:09:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 12:32:49.051574
• Title: TSFormer: A Robust Framework for Efficient UHD Image Restoration
• Title（参考訳）: TSFormer: 効率的なUHD画像復元のためのロバストフレームワーク
• Authors: Xin Su, Chen Wu, Zhuoran Zheng,
• Abstract要約: TSFormerは、textbfTrusted LearningとtextbfSparsificationを統合するオールインワンフレームワークである。 我々のモデルは3.38Mパラメータを持つ4K画像をリアルタイムで(40fps)実行することができる。
• 参考スコア（独自算出の注目度）: 7.487270862599671
• License:
• Abstract: Ultra-high-definition (UHD) image restoration is vital for applications demanding exceptional visual fidelity, yet existing methods often face a trade-off between restoration quality and efficiency, limiting their practical deployment. In this paper, we propose TSFormer, an all-in-one framework that integrates \textbf{T}rusted learning with \textbf{S}parsification to boost both generalization capability and computational efficiency in UHD image restoration. The key is that only a small amount of token movement is allowed within the model. To efficiently filter tokens, we use Min-$p$ with random matrix theory to quantify the uncertainty of tokens, thereby improving the robustness of the model. Our model can run a 4K image in real time (40fps) with 3.38 M parameters. Extensive experiments demonstrate that TSFormer achieves state-of-the-art restoration quality while enhancing generalization and reducing computational demands. In addition, our token filtering method can be applied to other image restoration models to effectively accelerate inference and maintain performance.
• Abstract（参考訳）: 超高精細画像復元(UHD)は、例外的な視覚的忠実さを必要とするアプリケーションには不可欠であるが、既存の手法では、回復の質と効率のトレードオフに直面し、実際の展開を制限している。 本稿では,UHD画像復元における一般化能力と計算効率の両立を図るために, TSFormerを提案する。 鍵となるのは、モデル内で少量のトークンの動きしか許されないことである。 トークンを効率的にフィルタするために、ランダム行列理論を用いてMin-$p$を用いてトークンの不確かさを定量化し、モデルのロバスト性を改善する。 我々のモデルは3.38Mパラメータを持つ4K画像をリアルタイムで(40fps)実行することができる。 TSFormerは、一般化と計算要求の低減を図りながら、最先端の復元品質を達成することを実証した。 さらに,他の画像復元モデルにもトークンフィルタリング手法を適用することで,推論を効果的に高速化し,性能を維持することができる。

関連論文リスト

• Assessing UHD Image Quality from Aesthetics, Distortions, and Saliency [51.36674160287799]
  我々は3つの視点からUHD画像の品質を評価するためにマルチブランチディープニューラルネットワーク(DNN)を設計する。 UHD画像から低解像度画像から美的特徴を抽出する。 UHD画像から抽出したミニパッチからなる断片画像を用いて, 技術的歪みを測定する。 UHD画像の塩分含有量を検知し、収穫し、塩分領域から品質認識特徴を抽出する。
  論文  参考訳（メタデータ） (2024-09-01T15:26:11Z)
• Review Learning: Advancing All-in-One Ultra-High-Definition Image Restoration Training Method [7.487270862599671]
  本稿では,bfReview Learning という一般画像復元モデルの学習パラダイムを提案する。 このアプローチは、いくつかの劣化したデータセット上のイメージ復元モデルのシーケンシャルなトレーニングと、レビューメカニズムの組み合わせから始まります。 コンシューマグレードのGPU上で4K解像度で画像の劣化を効率的に推論できる軽量な全目的画像復元ネットワークを設計する。
  論文  参考訳（メタデータ） (2024-08-13T08:08:45Z)
• Efficient Degradation-aware Any Image Restoration [83.92870105933679]
  我々は,低ランク体制下での学習者(DaLe)を用いた効率的なオールインワン画像復元システムである textitDaAIR を提案する。 モデルキャパシティを入力劣化に動的に割り当てることにより、総合学習と特定の学習を統合した効率的な復調器を実現する。
  論文  参考訳（メタデータ） (2024-05-24T11:53:27Z)
• Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
  本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。 具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。 提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T21:14:02Z)
• MOFA: A Model Simplification Roadmap for Image Restoration on Mobile Devices [17.54747506334433]
  本稿では,展開前の画像復元モデルをさらに高速化するロードマップを提案する。 提案手法は,PSNRとSSIMを増大させながら,ランタイムを最大13%削減し,パラメータ数を最大23%削減する。
  論文  参考訳（メタデータ） (2023-08-24T01:29:15Z)
• Refusion: Enabling Large-Size Realistic Image Restoration with Latent-Space Diffusion Models [9.245782611878752]
  ネットワークアーキテクチャ、ノイズレベル、デノイングステップ、トレーニング画像サイズ、知覚/スケジューリングスコアなど、様々な面で拡散モデルを強化する。 また、復号処理のために元の入力からの高分解能情報を保存しつつ、低分解能潜時空間での拡散を行うU-Netベースの潜時拡散モデルを提案する。 これらの修正により、現実世界の影除去、HR非均一脱ハージング、ステレオ超解像、ボケ効果変換など、様々な画像復元タスクに拡散モデルを適用することができる。
  論文  参考訳（メタデータ） (2023-04-17T14:06:49Z)
• Attentive Fine-Grained Structured Sparsity for Image Restoration [63.35887911506264]
  N:M 構造化プルーニングは,モデルの精度制約を効率的にするための効果的かつ実用的なプルーニング手法の1つである。 そこで本稿では, 各層におけるN:M構造化空間の刈り取り比を決定する新しい刈り取り法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T12:44:55Z)
• Identity Preserving Loss for Learned Image Compression [0.0]
  本研究は,高圧縮率を実現するために,ドメイン固有の特徴を学習するエンドツーエンド画像圧縮フレームワークを提案する。 本稿では,CRF-23 HEVC圧縮の38%と42%のビット・パー・ピクセル(BPP)値が得られる新しいID保存再構成(IPR)ロス関数を提案する。 CRF-23 HEVC圧縮の38%の低いBPP値を保ちながら、未確認の認識モデルを用いてLFWデータセットの at-par 認識性能を示す。
  論文  参考訳（メタデータ） (2022-04-22T18:01:01Z)
• PhotoWCT$^2$: Compact Autoencoder for Photorealistic Style Transfer Resulting from Blockwise Training and Skip Connections of High-Frequency Residuals [35.64625206673256]
  フォトリアリスティック・スタイル・トランスファー(英: Photorealistic style transfer)とは、画像が他の画像のスタイルに合うように修正され、結果が本物の写真に見えることを保証するための画像編集タスクである。 既存のモデルの制限は、多くのパラメータを持つため、画像の解像度が大きくなるのを防ぎ、実行時間が遅くなることである。 我々は、最先端のスタイル化強度とフォトリアリズムを保った、よりコンパクトなモデルの設計を可能にする2つのメカニズムを導入する。
  論文  参考訳（メタデータ） (2021-10-22T18:20:41Z)
• The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
  本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。 次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。 そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-16T08:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。