論文の概要: Relighting from a Single Image: Datasets and Deep Intrinsic-based Architecture

• arxiv url: http://arxiv.org/abs/2409.18770v1
• Date: Fri, 27 Sep 2024 14:15:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 14:25:07.485701
• Title: Relighting from a Single Image: Datasets and Deep Intrinsic-based Architecture
• Title（参考訳）: 単一画像からのリライティング:データセットと深い内在的アーキテクチャ
• Authors: Yixiong Yang, Hassan Ahmed Sial, Ramon Baldrich, Maria Vanrell,
• Abstract要約: 単一画像シーンのリライティングは、入力画像の現実的な新しいバージョンを生成し、新たな目標光条件で照らされるようにすることを目的としている。 そこで本研究では,内在成分の基底的真理を持つ合成データセットと,実験条件下で収集した実データセットの2つの新しいデータセットを提案する。 提案手法は,既存のデータセットと新たに開発したデータセットの両方でテストした結果,最先端の手法よりも性能が優れている。
• 参考スコア（独自算出の注目度）: 0.7499722271664147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single image scene relighting aims to generate a realistic new version of an input image so that it appears to be illuminated by a new target light condition. Although existing works have explored this problem from various perspectives, generating relit images under arbitrary light conditions remains highly challenging, and related datasets are scarce. Our work addresses this problem from both the dataset and methodological perspectives. We propose two new datasets: a synthetic dataset with the ground truth of intrinsic components and a real dataset collected under laboratory conditions. These datasets alleviate the scarcity of existing datasets. To incorporate physical consistency in the relighting pipeline, we establish a two-stage network based on intrinsic decomposition, giving outputs at intermediate steps, thereby introducing physical constraints. When the training set lacks ground truth for intrinsic decomposition, we introduce an unsupervised module to ensure that the intrinsic outputs are satisfactory. Our method outperforms the state-of-the-art methods in performance, as tested on both existing datasets and our newly developed datasets. Furthermore, pretraining our method or other prior methods using our synthetic dataset can enhance their performance on other datasets. Since our method can accommodate any light conditions, it is capable of producing animated results. The dataset, method, and videos are publicly available.
• Abstract（参考訳）: 単一画像シーンのリライティングは、入力画像の現実的な新しいバージョンを生成し、新たな目標光条件で照らされるようにすることを目的としている。 既存の研究では様々な観点からこの問題を探求しているが、任意の光条件下で信頼された画像を生成することは極めて困難であり、関連するデータセットは乏しい。 私たちの研究は、データセットと方法論の両方の観点からこの問題に対処しています。 そこで本研究では,内在成分の基底的真理を持つ合成データセットと,実験条件下で収集した実データセットの2つの新しいデータセットを提案する。 これらのデータセットは、既存のデータセットの不足を軽減する。 ライティングパイプラインに物理一貫性を組み込むため,本質的な分解に基づく2段階ネットワークを構築し,中間ステップで出力を行い,物理的制約を導入する。 トレーニングセットが本質的な分解に基礎的真理を欠いている場合、本質的な出力が満足できるように教師なしのモジュールを導入する。 提案手法は,既存のデータセットと新たに開発したデータセットの両方でテストした結果,最先端の手法よりも性能が優れている。 さらに、我々の合成データセットを用いて、我々の方法や他の先行手法を事前訓練することで、他のデータセットの性能を高めることができる。 本手法はどんな光条件でも適用可能であるので, アニメーション結果を生成することができる。 データセット、メソッド、ビデオが公開されている。

関連論文リスト

• Synthetic data enables faster annotation and robust segmentation for multi-object grasping in clutter [9.092550803271005]
  本稿では、人間の介入を最小限に抑え、下流画像分割アルゴリズムをより堅牢にする合成データ生成手法を提案する。 実験により,提案した合成シーン生成はラベリング時間を劇的に短縮できることが示された。 Pick-and-place実験は、私たちのハイブリッドデータセット(98.9%、70%)でトレーニングされたセグメンテーションが、実際のデータセットと公開データセット(6.7%、18.8%)と(2.8%、10%)をラベリングと達成率で上回っていることを示した。
  論文  参考訳（メタデータ） (2024-01-24T11:58:30Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• DC-BENCH: Dataset Condensation Benchmark [79.18718490863908]
  この研究は、データセットの凝縮に関する最初の大規模標準ベンチマークを提供する。 それは、凝縮法の生成可能性と有効性を包括的に反映する一連の評価から成り立っている。 ベンチマークライブラリは、将来の研究とアプリケーションを容易にするためにオープンソース化されている。
  論文  参考訳（メタデータ） (2022-07-20T03:54:05Z)
• Delving into High-Quality Synthetic Face Occlusion Segmentation Datasets [83.749895930242]
  そこで本研究では,高品質な自然主義的合成隠蔽顔を製造するための2つの手法を提案する。 両手法の有効性とロバスト性を実証的に示す。 我々は,RealOccとRealOcc-Wildという,微細なアノテーションを付加した高精細な実世界の顔データセットを2つ提示する。
  論文  参考訳（メタデータ） (2022-05-12T17:03:57Z)
• Partially fake it till you make it: mixing real and fake thermal images for improved object detection [29.13557322147509]
  熱画像における物体検出の文脈における提案システムの性能について述べる。 我々の単一モード検出器はFLIR ADASデータセットの最先端結果を達成する。
  論文  参考訳（メタデータ） (2021-06-25T12:56:09Z)
• Joint Learning of Portrait Intrinsic Decomposition and Relighting [5.601217969637838]
  逆レンダリングは、イメージをその固有の構成要素、すなわちアルベド、正規および照明に分解する問題である。 そこで本研究では,分解作業の完全監督の必要性を低減させる,自己監督型学習パラダイムを提案する。 学習パラダイムが本質的な分解とリライティングの両方に与える影響を実証し、自己監督的損失項を使わずに、モデルがどのように両タスクで苦労しているかを実証する。
  論文  参考訳（メタデータ） (2021-06-22T19:40:22Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• Optical Flow Dataset Synthesis from Unpaired Images [36.158607790844705]
  本稿では,光の流れを教師付きで訓練するために使用できる擬似実画像の訓練セットを構築する新しい手法を提案する。 我々のデータセットは実データから2つの未ペアフレームを使用し、ランダムなワープをシミュレートしてフレームのペアを生成する。 そこで我々は,真理を正確に把握しながら,実データを直接訓練する利点を得る。
  論文  参考訳（メタデータ） (2021-04-02T22:19:47Z)
• OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets [103.54691385842314]
  本研究では,屋内シーンの大規模フォトリアリスティックデータセットを作成するための新しいフレームワークを提案する。 私たちの目標は、データセット作成プロセスを広く利用できるようにすることです。 これにより、逆レンダリング、シーン理解、ロボット工学における重要な応用が可能になる。
  論文  参考訳（メタデータ） (2020-07-25T06:48:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。