論文の概要: NILUT: Conditional Neural Implicit 3D Lookup Tables for Image
Enhancement
- arxiv url: http://arxiv.org/abs/2306.11920v3
- Date: Sun, 24 Dec 2023 13:12:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 22:33:27.852449
- Title: NILUT: Conditional Neural Implicit 3D Lookup Tables for Image
Enhancement
- Title(参考訳): NILUT:画像強調のための条件付きニューラルインシシデント3Dルックアップテーブル
- Authors: Marcos V. Conde, Javier Vazquez-Corral, Michael S. Brown, Radu Timofte
- Abstract要約: 3次元ルックアップテーブル(3D LUT)は、画像強調のための重要なコンポーネントである。
3D LUTを学習し、適用するための現在のアプローチは、明らかに高速だが、メモリ効率はそれほど高くない。
ニューラルネットワークによってパラメータ化される暗黙的に定義された連続3次元色変換であるニューラルインプリシット LUT (NILUT) を提案する。
- 参考スコア(独自算出の注目度): 82.75363196702381
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: 3D lookup tables (3D LUTs) are a key component for image enhancement. Modern
image signal processors (ISPs) have dedicated support for these as part of the
camera rendering pipeline. Cameras typically provide multiple options for
picture styles, where each style is usually obtained by applying a unique
handcrafted 3D LUT. Current approaches for learning and applying 3D LUTs are
notably fast, yet not so memory-efficient, as storing multiple 3D LUTs is
required. For this reason and other implementation limitations, their use on
mobile devices is less popular. In this work, we propose a Neural Implicit LUT
(NILUT), an implicitly defined continuous 3D color transformation parameterized
by a neural network. We show that NILUTs are capable of accurately emulating
real 3D LUTs. Moreover, a NILUT can be extended to incorporate multiple styles
into a single network with the ability to blend styles implicitly. Our novel
approach is memory-efficient, controllable and can complement previous methods,
including learned ISPs. Code, models and dataset available at:
https://github.com/mv-lab/nilut
- Abstract(参考訳): 3次元ルックアップテーブル(3D LUT)は画像強調のための重要なコンポーネントである。
現代の画像信号プロセッサ(ISP)は、カメラレンダリングパイプラインの一部としてこれらをサポートする。
カメラは通常、絵のスタイルに複数のオプションを提供し、それぞれのスタイルは通常、ユニークな手作りの3D LUTを適用することで得られる。
3D LUTを学習および適用するための現在のアプローチは、特に高速であるが、複数の3D LUTを格納する必要があるため、メモリ効率は高くない。
この理由やその他の実装上の制限のため、モバイルデバイスでの使用はそれほど一般的ではない。
本研究では,ニューラルネットワークによってパラメータ化される暗黙的に定義された連続3次元色変換であるニューラルインプリシット LUT (NILUT) を提案する。
NILUTは実3D LUTを正確にエミュレートできることを示す。
さらに、NILUTは複数のスタイルを単一のネットワークに組み込むように拡張でき、暗黙的にスタイルをブレンドすることができる。
我々の新しいアプローチはメモリ効率が高く、制御可能であり、学習ISPを含む従来の手法を補完することができる。
コード、モデル、データセット:https://github.com/mv-lab/nilut
関連論文リスト
- Free3D: Consistent Novel View Synthesis without 3D Representation [75.52709432844759]
Free3Dは、単一画像からのオープンセットノベルビュー合成(NVS)のために設計されたシンプルなアプローチである。
一般化のための2次元画像生成装置の事前訓練から始まり、NVS向けに微調整する。
近年の作業と比較すると、明示的な3D表現に頼ることなく、大幅な改善が得られている。
論文 参考訳(メタデータ) (2023-12-07T18:59:18Z) - WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space [82.56898294603785]
潜在拡散モデル(LDM)に基づく3次元画像合成の新しいアプローチであるWildFusionを提案する。
我々の3D対応LCMは、マルチビュー画像や3D幾何学を直接監督することなく訓練されている。
これにより、スケーラブルな3D認識画像合成と、Wild画像データから3Dコンテンツを作成するための有望な研究道が開かれる。
論文 参考訳(メタデータ) (2023-11-22T18:25:51Z) - Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D
Image Representations [92.88108411154255]
本稿では,3次元シーンとして再構成可能な複数画像の解析に後者を適用する際に,高密度な2次元画像特徴抽出器を改善する手法を提案する。
本手法は,手動ラベルを使わずに,シーン固有のニューラルネットワークの文脈における意味理解を可能にするだけでなく,自己監督型2Dベースラインよりも一貫して改善されていることを示す。
論文 参考訳(メタデータ) (2022-09-07T23:24:09Z) - Multi-NeuS: 3D Head Portraits from Single Image with Neural Implicit
Functions [70.04394678730968]
人間の頭部の3次元再構築を1つか2つの視点から提案する。
基盤となる神経アーキテクチャは、オブジェクトを学習し、モデルを一般化することである。
私たちのモデルは、100本のビデオやワンショットの3Dスキャンに、斬新な頭を収めることができます。
論文 参考訳(メタデータ) (2022-09-07T21:09:24Z) - Text2Mesh: Text-Driven Neural Stylization for Meshes [18.435567297462416]
筆者らのフレームワークText2Meshは,対象のテキストプロンプトに適合する色や局所的な幾何学的詳細を予測することにより,3Dメッシュをスタイリングする。
ニューラルネットワークと結合した固定メッシュ入力(コンテンツ)を用いた3次元物体の非交叉表現をニューラルネットワークと呼ぶ。
スタイルを変更するために、CLIPの表現力を利用してテキストプロンプト(記述スタイル)とスタイル化されたメッシュの類似度スコアを得る。
論文 参考訳(メタデータ) (2021-12-06T18:23:29Z) - CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent
Pixel Synthesis [148.4104739574094]
本稿では,浅いNeRFネットワークと深い暗黙のニューラル表現ネットワークからなるスタイルベースの3D対応ジェネレータであるCIPS-3Dを提案する。
ジェネレータは、空間畳み込みやアップサンプリング操作をすることなく、各画素値を独立して合成する。
FFHQの256times256$解像度で、画像のFIDが6.97で3D対応画像合成の新記録を樹立した。
論文 参考訳(メタデータ) (2021-10-19T08:02:16Z) - Learning Image-adaptive 3D Lookup Tables for High Performance Photo
Enhancement in Real-time [33.93249921871407]
本稿では,画像適応型3次元ルックアップテーブル(3D LUT)を学習し,高速でロバストな画像強調を実現する。
アノテーション付きデータからペアワイドやアンペアラーニングを用いて3D LUTを学習する。
我々は、複数のベース3D LUTと小さな畳み込みニューラルネットワーク(CNN)をエンドツーエンドで同時に学習する。
論文 参考訳(メタデータ) (2020-09-30T06:34:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。