論文の概要: Learning Image-adaptive 3D Lookup Tables for High Performance Photo
Enhancement in Real-time
- arxiv url: http://arxiv.org/abs/2009.14468v1
- Date: Wed, 30 Sep 2020 06:34:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 00:10:52.210016
- Title: Learning Image-adaptive 3D Lookup Tables for High Performance Photo
Enhancement in Real-time
- Title（参考訳）: リアルタイム写真強調のための画像適応型3次元ルックアップテーブルの学習
- Authors: Hui Zeng, Jianrui Cai, Lida Li, Zisheng Cao, Lei Zhang
- Abstract要約: 本稿では,画像適応型3次元ルックアップテーブル(3D LUT)を学習し,高速でロバストな画像強調を実現する。
アノテーション付きデータからペアワイドやアンペアラーニングを用いて3D LUTを学習する。
我々は、複数のベース3D LUTと小さな畳み込みニューラルネットワーク(CNN)をエンドツーエンドで同時に学習する。
- 参考スコア（独自算出の注目度）: 33.93249921871407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the increasing popularity of learning based
methods to enhance the color and tone of photos. However, many existing photo
enhancement methods either deliver unsatisfactory results or consume too much
computational and memory resources, hindering their application to
high-resolution images (usually with more than 12 megapixels) in practice. In
this paper, we learn image-adaptive 3-dimensional lookup tables (3D LUTs) to
achieve fast and robust photo enhancement. 3D LUTs are widely used for
manipulating color and tone of photos, but they are usually manually tuned and
fixed in camera imaging pipeline or photo editing tools. We, for the first time
to our best knowledge, propose to learn 3D LUTs from annotated data using
pairwise or unpaired learning. More importantly, our learned 3D LUT is
image-adaptive for flexible photo enhancement. We learn multiple basis 3D LUTs
and a small convolutional neural network (CNN) simultaneously in an end-to-end
manner. The small CNN works on the down-sampled version of the input image to
predict content-dependent weights to fuse the multiple basis 3D LUTs into an
image-adaptive one, which is employed to transform the color and tone of source
images efficiently. Our model contains less than 600K parameters and takes less
than 2 ms to process an image of 4K resolution using one Titan RTX GPU. While
being highly efficient, our model also outperforms the state-of-the-art photo
enhancement methods by a large margin in terms of PSNR, SSIM and a color
difference metric on two publically available benchmark datasets.
- Abstract（参考訳）: 近年、写真の色やトーンを高めるための学習ベースの手法の人気が高まっている。
しかし、既存の多くの写真強調手法は、満足のいく結果を提供するか、計算とメモリ資源を消費しすぎるかのいずれかであり、実際には高解像度の画像(通常12メガピクセル以上)への応用を妨げる。
本稿では,画像適応型3次元ルックアップテーブル(3D LUT)を学習し,高速でロバストな画像強調を実現する。
3D LUTは写真の色やトーンを操作するために広く使われているが、通常は手動で調整され、カメラ画像パイプラインや写真編集ツールで固定される。
私たちは、初めて、ペアワイドまたはアンペアラーニングを用いて注釈付きデータから3D LUTを学ぶことを提案する。
さらに重要なことは、3D LUTはフレキシブルな写真強調に適応しています。
我々は、複数のベース3D LUTと小さな畳み込みニューラルネットワーク(CNN)をエンドツーエンドで同時に学習する。
小型CNNは、入力画像のダウンサンプリングバージョンで動作し、コンテンツ依存重量を予測することで、複数のベース3D LUTを画像適応型に融合させ、ソース画像の色とトーンを効率よく変換する。
我々のモデルは600K未満のパラメータを含み、Titan RTX GPUを用いて4K解像度の画像を処理するのに2ms未満である。
また,PSNR,SSIM,および2つの公開ベンチマークデータセットにおける色差測定値において,高効率であると同時に,最先端の写真強調手法よりも優れていた。
関連論文リスト
- ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。
我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
論文 参考訳（メタデータ） (2024-03-04T07:57:05Z) - Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。
テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。
いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
論文 参考訳（メタデータ） (2023-12-20T16:14:58Z) - NILUT: Conditional Neural Implicit 3D Lookup Tables for Image
Enhancement [82.75363196702381]
3次元ルックアップテーブル(3D LUT)は、画像強調のための重要なコンポーネントである。
3D LUTを学習し、適用するための現在のアプローチは、明らかに高速だが、メモリ効率はそれほど高くない。
ニューラルネットワークによってパラメータ化される暗黙的に定義された連続3次元色変換であるニューラルインプリシット LUT (NILUT) を提案する。
論文 参考訳（メタデータ） (2023-06-20T22:06:39Z) - Generative Multiplane Neural Radiance for 3D-Aware Image Generation [102.15322193381617]
本稿では,複数のターゲットビューに対して連続した3次元高解像度画像を効率よく生成する手法を提案する。
我々のGMNRモデルは、単一のV100上で17.6FPSの1024×1024ピクセルの3D認識画像を生成する。
論文 参考訳（メタデータ） (2023-04-03T17:41:20Z) - 4D LUT: Learnable Context-Aware 4D Lookup Table for Image Enhancement [50.49396123016185]
学習可能なコンテキスト対応4次元ルックアップテーブル(4D LUT)を提案する。
写真コンテキストを適応的に学習することで、各画像内の異なる内容のコンテンツ依存的な拡張を実現する。
従来の3D LUT、すなわちRGBへのRGBマッピングと比較して、4D LUTは画像ごとに異なる内容の画素の色変換をより細かく制御できる。
論文 参考訳（メタデータ） (2022-09-05T04:00:57Z) - SepLUT: Separable Image-adaptive Lookup Tables for Real-time Image
Enhancement [21.963622337032344]
上記の制限に対処するため、SepLUT(分離画像適応ルックアップテーブル)を提案する。
具体的には、単一色変換を1Dおよび3D LUTとしてインスタンス化されたコンポーネント非依存およびコンポーネント関連サブ変換のカスケードに分離する。
このように、2つのサブ変換の能力は相互に促進され、3D LUTは色成分を混合する能力を補完する。
論文 参考訳（メタデータ） (2022-07-18T02:27:19Z) - Data Efficient 3D Learner via Knowledge Transferred from 2D Model [30.077342050473515]
我々は、RGB-D画像を介して強力な2Dモデルから知識を伝達することで、3Dタスクのデータ不足に対処する。
擬似ラベルを用いたRGB-D画像の強化には,2次元画像の強いセマンティック・セマンティック・セマンティック・セマンティック・セマンティクス・モデルを用いる。
提案手法は,3次元ラベルの効率向上に適した既存の最先端技術よりも優れている。
論文 参考訳（メタデータ） (2022-03-16T09:14:44Z) - Real-time Image Enhancer via Learnable Spatial-aware 3D Lookup Tables [12.4260963890153]
学習可能な空間認識型3次元ルックアップテーブル(LUT)による新しいリアルタイム画像強調器を提案する。
空間認識型3D LUTを学習し、上記の重みに応じてエンドツーエンドに融合する。
我々のモデルは、主観的かつ客観的に、公開データセット上でSOTA画像強調法より優れている。
論文 参考訳（メタデータ） (2021-08-19T14:04:59Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳（メタデータ） (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。