論文の概要: SepLUT: Separable Image-adaptive Lookup Tables for Real-time Image
Enhancement
- arxiv url: http://arxiv.org/abs/2207.08351v1
- Date: Mon, 18 Jul 2022 02:27:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 18:11:53.668900
- Title: SepLUT: Separable Image-adaptive Lookup Tables for Real-time Image
Enhancement
- Title(参考訳): SepLUT:リアルタイム画像強調のための分離可能な画像適応ルックアップテーブル
- Authors: Canqian Yang, Meiguang Jin, Yi Xu, Rui Zhang, Ying Chen and Huaida Liu
- Abstract要約: 上記の制限に対処するため、SepLUT(分離画像適応ルックアップテーブル)を提案する。
具体的には、単一色変換を1Dおよび3D LUTとしてインスタンス化されたコンポーネント非依存およびコンポーネント関連サブ変換のカスケードに分離する。
このように、2つのサブ変換の能力は相互に促進され、3D LUTは色成分を混合する能力を補完する。
- 参考スコア(独自算出の注目度): 21.963622337032344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image-adaptive lookup tables (LUTs) have achieved great success in real-time
image enhancement tasks due to their high efficiency for modeling color
transforms. However, they embed the complete transform, including the color
component-independent and the component-correlated parts, into only a single
type of LUTs, either 1D or 3D, in a coupled manner. This scheme raises a
dilemma of improving model expressiveness or efficiency due to two factors. On
the one hand, the 1D LUTs provide high computational efficiency but lack the
critical capability of color components interaction. On the other, the 3D LUTs
present enhanced component-correlated transform capability but suffer from
heavy memory footprint, high training difficulty, and limited cell utilization.
Inspired by the conventional divide-and-conquer practice in the image signal
processor, we present SepLUT (separable image-adaptive lookup table) to tackle
the above limitations. Specifically, we separate a single color transform into
a cascade of component-independent and component-correlated sub-transforms
instantiated as 1D and 3D LUTs, respectively. In this way, the capabilities of
two sub-transforms can facilitate each other, where the 3D LUT complements the
ability to mix up color components, and the 1D LUT redistributes the input
colors to increase the cell utilization of the 3D LUT and thus enable the use
of a more lightweight 3D LUT. Experiments demonstrate that the proposed method
presents enhanced performance on photo retouching benchmark datasets than the
current state-of-the-art and achieves real-time processing on both GPUs and
CPUs.
- Abstract(参考訳): 画像適応ルックアップテーブル(luts)は,カラー変換のモデリング効率が高いため,リアルタイム画像強調タスクにおいて大きな成功を収めている。
しかし、色成分に依存しない部分や成分相関部分を含む完全な変換を1dまたは3dの1種類のlutのみに結合した方法で組み込む。
このスキームは、2つの要因によりモデル表現性または効率を改善するというジレンマを引き起こす。
一方、1D LUTは高い計算効率を提供するが、色成分相互作用の重要な能力は欠如している。
一方、3D LUTはコンポーネント関連変換能力が向上するが、メモリフットプリントの多さ、訓練の困難さ、細胞利用の制限に悩まされている。
画像信号処理装置の従来の分割処理方式に着想を得て,SepLUT(分離画像適応ルックアップテーブル)を提案し,上記の制限に対処する。
具体的には, 1D および 3D LUT としてインスタンス化された成分非依存サブ変換と成分関連サブ変換のカスケードに, 単色変換を分離する。
このように、2つのサブトランスフォーメーションの能力は相互に促進され、3D LUTは色成分を混合する能力を補完し、1D LUTは入力色を再分割して3D LUTの細胞利用を増加させ、より軽量な3D LUTの使用を可能にする。
実験により,提案手法は,現在最先端のベンチマークデータセットよりも,写真リタッチベンチマークデータセットの性能が向上し,gpuとcpuの両方でリアルタイム処理を実現することを実証した。
関連論文リスト
- SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance
Fields [97.63648347686456]
放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。
提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。
この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
論文 参考訳(メタデータ) (2023-12-26T02:50:42Z) - Plasticine3D: Non-rigid 3D editting with text guidance [24.75903764018142]
プラスチック3Dは、汎用的で、高忠実で、フォトリアリスティックで、制御可能な非剛性編集パイプラインである。
本研究は, 編集過程を幾何学的編集段階とテクスチャ的編集段階に分割し, より詳細な, フォトリアリスティックな結果を得る。
論文 参考訳(メタデータ) (2023-12-15T09:01:54Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳(メタデータ) (2023-12-11T18:59:31Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳(メタデータ) (2023-08-18T17:55:47Z) - Vox-E: Text-guided Voxel Editing of 3D Objects [14.88446525549421]
大規模テキスト誘導拡散モデルが注目されているのは、多様な画像を合成できるためである。
本稿では,既存の3次元オブジェクトの編集に潜時拡散モデルのパワーを利用する手法を提案する。
論文 参考訳(メタデータ) (2023-03-21T17:36:36Z) - Cross-Modal 3D Shape Generation and Manipulation [62.50628361920725]
本稿では,2次元のモダリティと暗黙の3次元表現を共用した多モード生成モデルを提案する。
グレースケールラインスケッチとレンダリングカラー画像の2つの代表的な2次元モーダル性について,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2022-07-24T19:22:57Z) - AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time
Image Enhancement [28.977992864519948]
AdaIntは3次元カラー空間における非一様サンプリング間隔を適応的に学習することで、より柔軟なサンプリングポイント割り当てを実現する新しいメカニズムである。
AdaIntは3D LUT方式のコンパクトで効率的なプラグアンドプレイモジュールとして実装できる。
論文 参考訳(メタデータ) (2022-04-29T10:16:57Z) - Learning Image-adaptive 3D Lookup Tables for High Performance Photo
Enhancement in Real-time [33.93249921871407]
本稿では,画像適応型3次元ルックアップテーブル(3D LUT)を学習し,高速でロバストな画像強調を実現する。
アノテーション付きデータからペアワイドやアンペアラーニングを用いて3D LUTを学習する。
我々は、複数のベース3D LUTと小さな畳み込みニューラルネットワーク(CNN)をエンドツーエンドで同時に学習する。
論文 参考訳(メタデータ) (2020-09-30T06:34:57Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-06-29T12:53:58Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳(メタデータ) (2020-04-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。