論文の概要: AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time
Image Enhancement
- arxiv url: http://arxiv.org/abs/2204.13983v1
- Date: Fri, 29 Apr 2022 10:16:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-02 14:40:08.793687
- Title: AdaInt: Learning Adaptive Intervals for 3D Lookup Tables on Real-time
Image Enhancement
- Title(参考訳): AdaInt:リアルタイム画像強調による3次元ルックアップテーブルの適応間隔学習
- Authors: Canqian Yang, Meiguang Jin, Xu Jia, Yi Xu, Ying Chen
- Abstract要約: AdaIntは3次元カラー空間における非一様サンプリング間隔を適応的に学習することで、より柔軟なサンプリングポイント割り当てを実現する新しいメカニズムである。
AdaIntは3D LUT方式のコンパクトで効率的なプラグアンドプレイモジュールとして実装できる。
- 参考スコア(独自算出の注目度): 28.977992864519948
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The 3D Lookup Table (3D LUT) is a highly-efficient tool for real-time image
enhancement tasks, which models a non-linear 3D color transform by sparsely
sampling it into a discretized 3D lattice. Previous works have made efforts to
learn image-adaptive output color values of LUTs for flexible enhancement but
neglect the importance of sampling strategy. They adopt a sub-optimal uniform
sampling point allocation, limiting the expressiveness of the learned LUTs
since the (tri-)linear interpolation between uniform sampling points in the LUT
transform might fail to model local non-linearities of the color transform.
Focusing on this problem, we present AdaInt (Adaptive Intervals Learning), a
novel mechanism to achieve a more flexible sampling point allocation by
adaptively learning the non-uniform sampling intervals in the 3D color space.
In this way, a 3D LUT can increase its capability by conducting dense sampling
in color ranges requiring highly non-linear transforms and sparse sampling for
near-linear transforms. The proposed AdaInt could be implemented as a compact
and efficient plug-and-play module for a 3D LUT-based method. To enable the
end-to-end learning of AdaInt, we design a novel differentiable operator called
AiLUT-Transform (Adaptive Interval LUT Transform) to locate input colors in the
non-uniform 3D LUT and provide gradients to the sampling intervals. Experiments
demonstrate that methods equipped with AdaInt can achieve state-of-the-art
performance on two public benchmark datasets with a negligible overhead
increase. Our source code is available at https://github.com/ImCharlesY/AdaInt.
- Abstract(参考訳): 3Dルックアップテーブル(3D LUT)はリアルタイム画像強調タスクのための高効率ツールであり、離散化された3D格子にわずかにサンプリングすることで、非線形な3D色変換をモデル化する。
従来の研究は、フレキシブルエンハンスメントのためのLUTの画像適応出力カラー値の学習に取り組んできたが、サンプリング戦略の重要性は無視されている。
彼らは、LUT変換における一様サンプリング点間の(トリ-)線形補間が、色変換の局所的非線形性をモデル化できないため、学習したLUTの表現性を制限し、準最適サンプリング点割り当てを採用する。
AdaInt(Adaptive Intervals Learning)は,3次元カラー空間における非一様サンプリング間隔を適応的に学習することにより,より柔軟なサンプリングポイント割り当てを実現する機構である。
このようにして、3D LUTは、高非線形変換を必要とする色域の高密度サンプリングと、近線形変換のためのスパースサンプリングを行うことで、その能力を高めることができる。
提案したAdaIntは、3D LUT方式のコンパクトで効率的なプラグアンドプレイモジュールとして実装できる。
AdaIntのエンドツーエンド学習を可能にするために、AiLUT変換(Adaptive Interval LUT Transform)と呼ばれる新しい微分演算子を設計し、非一様3D LUTの入力色を特定し、サンプリング間隔の勾配を与える。
実験により、AdaIntを組み込んだメソッドは、2つの公開ベンチマークデータセットで最新性能を達成でき、オーバーヘッドは無視できる。
ソースコードはhttps://github.com/ImCharlesY/AdaInt.comで公開されています。
関連論文リスト
- MonoLSS: Learnable Sample Selection For Monocular 3D Detection [3.5576391926282067]
Learnable Sample Selection (LSS)モジュールはGumbelSoftmaxと相対距離サンプル分割器をベースとしている。
MixUp3D法は、曖昧さを伴わない画像の原理に適合する3Dプロパティーサンプルを濃縮するために用いられる。
KITTIの3Dオブジェクト検出ベンチマークにおいて,MonoLSSは3つのカテゴリ(カー,サイクリスト,ペデストリアン)で1位にランクインした。
論文 参考訳(メタデータ) (2023-12-22T06:53:49Z) - pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable
Generalizable 3D Reconstruction [29.192847542384712]
pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。
我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
論文 参考訳(メタデータ) (2023-12-19T17:03:50Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳(メタデータ) (2023-12-11T18:59:31Z) - Mip-Splatting: Alias-free 3D Gaussian Splatting [52.366815964832426]
3D Gaussian Splattingは素晴らしいビュー合成結果を示し、高い忠実度と効率を実現した。
ストロングアーティファクトは、サンプリングレート、例えば焦点距離やカメラ距離を変えることで観測することができる。
この現象の原因は,3次元周波数制約の欠如と2次元拡張フィルタの利用によると考えられる。
論文 参考訳(メタデータ) (2023-11-27T13:03:09Z) - NILUT: Conditional Neural Implicit 3D Lookup Tables for Image
Enhancement [82.75363196702381]
3次元ルックアップテーブル(3D LUT)は、画像強調のための重要なコンポーネントである。
3D LUTを学習し、適用するための現在のアプローチは、明らかに高速だが、メモリ効率はそれほど高くない。
ニューラルネットワークによってパラメータ化される暗黙的に定義された連続3次元色変換であるニューラルインプリシット LUT (NILUT) を提案する。
論文 参考訳(メタデータ) (2023-06-20T22:06:39Z) - SepLUT: Separable Image-adaptive Lookup Tables for Real-time Image
Enhancement [21.963622337032344]
上記の制限に対処するため、SepLUT(分離画像適応ルックアップテーブル)を提案する。
具体的には、単一色変換を1Dおよび3D LUTとしてインスタンス化されたコンポーネント非依存およびコンポーネント関連サブ変換のカスケードに分離する。
このように、2つのサブ変換の能力は相互に促進され、3D LUTは色成分を混合する能力を補完する。
論文 参考訳(メタデータ) (2022-07-18T02:27:19Z) - VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids [42.74658047803192]
最先端の3D認識生成モデルは座標に基づくパラメータ化3Dラディアンス場に依存している。
既存のアプローチでは、しばしば解像度の低い特徴写像をレンダリングし、それをアップサンプリングネットワークで処理して最終的な画像を得る。
既存の手法とは対照的に,本手法では完全な3Dシーンを生成するために,単一の前方通過しか必要としない。
論文 参考訳(メタデータ) (2022-06-15T17:44:22Z) - Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。
本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。
本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
論文 参考訳(メタデータ) (2021-12-14T13:14:24Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳(メタデータ) (2020-08-31T17:10:48Z) - SeqXY2SeqZ: Structure Learning for 3D Shapes by Sequentially Predicting
1D Occupancy Segments From 2D Coordinates [61.04823927283092]
本稿では,各2次元位置における関数の出力が内部の線分列である2次元関数を用いて3次元形状を表現することを提案する。
本研究では,SeqXY2SeqZと呼ばれるセック2Seqモデルを用いて,2つの任意の軸に沿った2次元座標列から3つの軸に沿った1次元位置の列への写像を学習する手法を提案する。
実験の結果,SeqXY2SeqZは広く使用されているベンチマークで最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-03-12T00:24:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。