論文の概要: Toward DNN of LUTs: Learning Efficient Image Restoration with Multiple Look-Up Tables

• arxiv url: http://arxiv.org/abs/2303.14506v1
• Date: Sat, 25 Mar 2023 16:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 19:13:57.900179
• Title: Toward DNN of LUTs: Learning Efficient Image Restoration with Multiple Look-Up Tables
• Title（参考訳）: LUTのDNNに向けて:複数のルックアップテーブルを用いた効率的な画像復元学習
• Authors: Jiacheng Li, Chang Chen, Zhen Cheng, Zhiwei Xiong
• Abstract要約: エッジデバイス上の高解像度スクリーンは、効率的な画像復元アルゴリズムに対する強い需要を刺激する。 単一のルックアップテーブルのサイズはインデックス化能力の増加とともに指数関数的に増加する。 本稿では,Mulutと呼ばれるニューラルネットワークのような複数のLUTを構築するための普遍的手法を提案する。
• 参考スコア（独自算出の注目度）: 47.15181829317732
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The widespread usage of high-definition screens on edge devices stimulates a strong demand for efficient image restoration algorithms. The way of caching deep learning models in a look-up table (LUT) is recently introduced to respond to this demand. However, the size of a single LUT grows exponentially with the increase of its indexing capacity, which restricts its receptive field and thus the performance. To overcome this intrinsic limitation of the single-LUT solution, we propose a universal method to construct multiple LUTs like a neural network, termed MuLUT. Firstly, we devise novel complementary indexing patterns, as well as a general implementation for arbitrary patterns, to construct multiple LUTs in parallel. Secondly, we propose a re-indexing mechanism to enable hierarchical indexing between cascaded LUTs. Finally, we introduce channel indexing to allow cross-channel interaction, enabling LUTs to process color channels jointly. In these principled ways, the total size of MuLUT is linear to its indexing capacity, yielding a practical solution to obtain superior performance with the enlarged receptive field. We examine the advantage of MuLUT on various image restoration tasks, including super-resolution, demosaicing, denoising, and deblocking. MuLUT achieves a significant improvement over the single-LUT solution, e.g., up to 1.1dB PSNR for super-resolution and up to 2.8dB PSNR for grayscale denoising, while preserving its efficiency, which is 100$\times$ less in energy cost compared with lightweight deep neural networks. Our code and trained models are publicly available at https://github.com/ddlee-cn/MuLUT.
• Abstract（参考訳）: エッジデバイスにおける高解像度スクリーンの普及は、効率的な画像復元アルゴリズムに対する強い需要を刺激する。 ルックアップテーブル(LUT)でディープラーニングモデルをキャッシュする方法は最近、この需要に対応するために導入されている。 しかし、単一のLUTのサイズはインデックス化能力の増大とともに指数関数的に増加し、受容場や性能が制限される。 単一LUT解の本質的な制限を克服するために,Mulitと呼ばれるニューラルネットワークのような複数のLUTを構築する普遍的な手法を提案する。 まず,複数のLUTを並列に構築するために,新しい補完的な索引付けパターンと任意のパターンの汎用実装を考案する。 次に,カスケードlut間の階層インデックス化を可能にする再インデックス機構を提案する。 最後に,チャネル間インタラクションを可能にするためにチャネルインデックスを導入し,lutがカラーチャネルを共同で処理できるようにする。 これらの原理的な方法では、 MuLUT の総サイズはインデックス化能力に線形であり、拡張された受容場において優れた性能を得るための実用的な解が得られる。 我々は,超解像,復調,復調,遮蔽といった様々な画像復元作業における MuLUT の利点を検討する。 mulutは、スーパーレゾリューションでは最大1.1dbpsnr、グレースケールでは2.8dbpsnr、軽量のディープニューラルネットワークに比べて100$\times$少ない効率を維持しながら、シングルlutソリューションを大幅に改善している。 私たちのコードとトレーニングされたモデルはhttps://github.com/ddlee-cn/MuLUT.comで公開されています。

関連論文リスト

• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• PolyLUT-Add: FPGA-based LUT Inference with Wide Inputs [1.730979251211628]
  この研究はPolyLUT-Addを導入し、これは精度を向上させるために$A$ PolyLUTサブニューロンを組み合わせることによってニューロンの接続性を高める技術である。 我々は,MNIST,Jet Substructure Classification,Network Intrusion Detectionベンチマークに対する実装評価を行い,同様の精度でPolyLUT-AddがLUTの2.0-13.9times$と1.2-1.6times$の遅延低減を実現していることを確認した。
  論文  参考訳（メタデータ） (2024-06-07T13:00:57Z)
• NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
  Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。 提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
  論文  参考訳（メタデータ） (2024-02-29T16:10:21Z)
• Hundred-Kilobyte Lookup Tables for Efficient Single-Image Super-Resolution [7.403264755337134]
  超解像(SR)方式は畳み込みニューラルネットワーク(CNN)を多用しており、これは集中的乗算(MAC)演算を含む。 これは、電力、コンピューティング、ストレージリソースによって歪んだデバイス上で実行されるエッジAIの体制と矛盾する。 この作業は、このストレージハードルに対処し、100キロバイトのLUT(HKLUT)モデルをオンチップキャッシュ用に革新する。
  論文  参考訳（メタデータ） (2023-12-11T04:07:34Z)
• Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution [90.16462805389943]
  視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。 提案法は最先端のSR法よりも3倍程度小さい。
  論文  参考訳（メタデータ） (2023-02-27T14:19:31Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
  ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。 我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。 実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T05:07:19Z)
• MultiRes-NetVLAD: Augmenting Place Recognition Training with Low-Resolution Imagery [28.875236694573815]
  我々は低解像度画像ピラミッド符号化によるNetVLAD表現学習を強化した。 結果として得られる多重解像度特徴ピラミッドは、VLADを介して1つのコンパクト表現に便利に集約することができる。 基礎となる学習機能テンソルと既存のマルチスケールアプローチを組み合わせることで,ベースライン性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-18T11:53:01Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• FarSee-Net: Real-Time Semantic Segmentation by Efficient Multi-scale Context Aggregation and Feature Space Super-resolution [14.226301825772174]
  Cascaded Factorized Atrous Space Pyramid Pooling (CF-ASPP) と呼ばれる新しい効率的なモジュールについて紹介する。 これは畳み込みニューラルネットワーク(CNN)のための軽量なカスケード構造であり、コンテキスト情報を効率的に活用する。 我々は1枚のNivida Titan X (Maxwell) GPUカードでCityscapesテストセットの84fpsで68.4% mIoUを達成した。
  論文  参考訳（メタデータ） (2020-03-09T03:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。