論文の概要: LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation

• arxiv url: http://arxiv.org/abs/2407.09935v1
• Date: Sat, 13 Jul 2024 16:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 20:08:02.923622
• Title: LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation
• Title（参考訳）: LeRF:適応的・効率的な画像補間のための学習再サンプリング機能
• Authors: Jiacheng Li, Chang Chen, Fenglong Song, Youliang Yan, Zhiwei Xiong,
• Abstract要約: 最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
• 参考スコア（独自算出の注目度）: 64.34935748707673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image resampling is a basic technique that is widely employed in daily applications, such as camera photo editing. Recent deep neural networks (DNNs) have made impressive progress in performance by introducing learned data priors. Still, these methods are not the perfect substitute for interpolation, due to the drawbacks in efficiency and versatility. In this work, we propose a novel method of Learning Resampling Function (termed LeRF), which takes advantage of both the structural priors learned by DNNs and the locally continuous assumption of interpolation. Specifically, LeRF assigns spatially varying resampling functions to input image pixels and learns to predict the hyper-parameters that determine the shapes of these resampling functions with a neural network. Based on the formulation of LeRF, we develop a family of models, including both efficiency-orientated and performance-orientated ones. To achieve interpolation-level efficiency, we adopt look-up tables (LUTs) to accelerate the inference of the learned neural network. Furthermore, we design a directional ensemble strategy and edge-sensitive indexing patterns to better capture local structures. On the other hand, to obtain DNN-level performance, we propose an extension of LeRF to enable it in cooperation with pre-trained upsampling models for cascaded resampling. Extensive experiments show that the efficiency-orientated version of LeRF runs as fast as interpolation, generalizes well to arbitrary transformations, and outperforms interpolation significantly, e.g., up to 3dB PSNR gain over Bicubic for x2 upsampling on Manga109. Besides, the performance-orientated version of LeRF reaches comparable performance with existing DNNs at much higher efficiency, e.g., less than 25% running time on a desktop GPU.
• Abstract（参考訳）: 画像再サンプリングは、カメラ写真編集のような日常的なアプリケーションで広く使われている基本的な技術である。 最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 しかし、これらの手法は効率と汎用性に欠点があるため、補間には最適ではない。 本研究では,DNNが学習した構造的前提と局所的補間仮定の両方を生かした学習再サンプリング関数(Learning Resampling Function, LeRF)を提案する。 具体的には、空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークでこれらの再サンプリング関数の形状を決定するハイパーパラメータを予測することを学習する。 LeRFの定式化に基づいて,効率指向モデルと性能指向モデルの両方を含むモデル群を開発した。 補間レベルの効率を達成するために、学習したニューラルネットワークの推論を高速化するルックアップテーブル(LUT)を採用する。 さらに,局所構造をよりよく捉えるために,指向性アンサンブル戦略とエッジ感応性インデクシングパターンを設計する。 一方、DNNレベルの性能を得るため、ケースドリサンプリングのための事前訓練されたアップサンプリングモデルと協調してLeRFの拡張を提案する。 大規模な実験により、LeRFの効率指向バージョンは補間と同じくらいの速さで動作し、任意の変換を一般化し、例えば、マンガ109のx2アップサンプリングでビクビックより最大3dBPSNRのゲインを著しく上回ることが示された。 さらに、パフォーマンス指向バージョンのLeRFは、既存のDNNと同等のパフォーマンスに到達し、デスクトップGPU上での実行時間を25%以下に抑えることができる。

関連論文リスト

• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• FFEINR: Flow Feature-Enhanced Implicit Neural Representation for Spatio-temporal Super-Resolution [4.577685231084759]
  本稿では,フローフィールドデータの超高分解能化のための特徴強調型ニューラルインシシット表現(FFEINR)を提案する。 モデル構造とサンプリング分解能の観点から、暗黙のニューラル表現を最大限に活用することができる。 FFEINRのトレーニングプロセスは、入力層に機能拡張を導入することで容易になる。
  論文  参考訳（メタデータ） (2023-08-24T02:28:18Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Efficient Context Integration through Factorized Pyramidal Learning for Ultra-Lightweight Semantic Segmentation [1.0499611180329804]
  本稿では,FPL(Facterized Pyramidal Learning)モジュールを提案する。 空間ピラミッドを2つのステージに分解し,モジュール内での簡易かつ効率的な特徴融合により,悪名高いチェッカーボード効果を解決する。 FPLモジュールとFIRユニットをベースとしたFPLNetと呼ばれる超軽量リアルタイムネットワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T05:34:51Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• SwinFIR: Revisiting the SwinIR with Fast Fourier Convolution and Improved Training for Image Super-Resolution [1.305100137416611]
  我々は、Fast Fourier Convolution (FFC) コンポーネントを置き換えることで、SwinIRを拡張するSwinFIRを提案する。 本アルゴリズムは,最新のSwinIR法よりも0.8dB高いManga109データセット上で32.83dBのPSNRを実現する。
  論文  参考訳（メタデータ） (2022-08-24T01:04:47Z)
• Residual Local Feature Network for Efficient Super-Resolution [20.62809970985125]
  本研究では,Residual Local Feature Network (RLFN)を提案する。 主なアイデアは、3つの畳み込みレイヤを局所的な特徴学習に使用して、機能の集約を単純化することだ。 さらに,NTIRE 2022の高効率超解像問題において,第1位を獲得した。
  論文  参考訳（メタデータ） (2022-05-16T08:46:34Z)
• Global Filter Networks for Image Classification [90.81352483076323]
  本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。 この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-07-01T17:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。