論文の概要: GALA: Toward Geometry-and-Lighting-Aware Object Search for Compositing

• arxiv url: http://arxiv.org/abs/2204.00125v1
• Date: Thu, 31 Mar 2022 22:36:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 14:46:26.795869
• Title: GALA: Toward Geometry-and-Lighting-Aware Object Search for Compositing
• Title（参考訳）: gala: 合成のための幾何・光認識オブジェクト探索に向けて
• Authors: Sijie Zhu, Zhe Lin, Scott Cohen, Jason Kuen, Zhifei Zhang, Chen Chen
• Abstract要約: GALAは、幾何学と照明の整合性に関する識別モデルを用いた、汎用的な前景オブジェクト探索手法である。 大規模なオープンワールドデータセット、すなわちPixabayとOpen Imagesをうまく一般化する。 さらに,入力バウンディングボックスを使わずに背景画像のみを提供する非ボックスシナリオを効果的に処理できる。
• 参考スコア（独自算出の注目度）: 43.14411954867784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositing-aware object search aims to find the most compatible objects for compositing given a background image and a query bounding box. Previous works focus on learning compatibility between the foreground object and background, but fail to learn other important factors from large-scale data, i.e. geometry and lighting. To move a step further, this paper proposes GALA (Geometry-and-Lighting-Aware), a generic foreground object search method with discriminative modeling on geometry and lighting compatibility for open-world image compositing. Remarkably, it achieves state-of-the-art results on the CAIS dataset and generalizes well on large-scale open-world datasets, i.e. Pixabay and Open Images. In addition, our method can effectively handle non-box scenarios, where users only provide background images without any input bounding box. A web demo (see supplementary materials) is built to showcase applications of the proposed method for compositing-aware search and automatic location/scale prediction for the foreground object.
• Abstract（参考訳）: Compositing-Aware Object Searchは、背景画像とクエリ境界ボックスが与えられた場合に最も互換性のあるオブジェクトを見つけることを目的としている。 以前の研究では、前景オブジェクトと背景の互換性を学習することに重点を置いていたが、大規模データ、すなわち幾何学と照明から重要な要素を学ばなかった。 そこで本稿では,幾何の識別モデルとオープンワールド画像合成のための照明互換性を備えた汎用フォアグラウンドオブジェクト探索法であるgala(geometry-and-lighting-aware)を提案する。 注目すべきは、CAISデータセットの最先端の結果を達成し、PixabayやOpen Imagesといった大規模なオープンワールドデータセットをうまく一般化することだ。 さらに,入力バウンディングボックスを使わずに背景画像のみを提供する非ボックスシナリオを効果的に処理できる。 webデモ(補足資料参照)は、前景オブジェクトの合成・認識探索と自動位置・スケール予測の応用例を示すために構築されている。

関連論文リスト

• RMAFF-PSN: A Residual Multi-Scale Attention Feature Fusion Photometric Stereo Network [37.759675702107586]
  複雑な構造空間材料変化領域における2次元画像からの物体の正確な地図の予測は困難である。 画像の解像度の異なるステージとスケールから特徴情報を校正する手法を提案する。 このアプローチは、複雑な領域における物体のテクスチャや幾何学といった、より物理的な情報を保存する。
  論文  参考訳（メタデータ） (2024-04-11T14:05:37Z)
• TopNet: Transformer-based Object Placement Network for Image Compositing [43.14411954867784]
  背景画像の局所的な手がかりは、特定の位置/スケールにオブジェクトを置くことの互換性を決定するために重要である。 本稿では,トランスモジュールを用いてオブジェクト特徴とすべてのローカル背景特徴の相関関係を学習することを提案する。 我々の新しい定式化は、1つのネットワークフォワードパスにおけるすべての位置/スケールの組み合わせの妥当性を示す3Dヒートマップを生成する。
  論文  参考訳（メタデータ） (2023-04-06T20:58:49Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Towards High-Fidelity Single-view Holistic Reconstruction of Indoor Scenes [50.317223783035075]
  単視点画像から総合的な3次元屋内シーンを再構築するための新しい枠組みを提案する。 詳細なオブジェクト再構成のためのインスタンス整列型暗黙関数(InstPIFu)を提案する。 私たちのコードとモデルは公開されます。
  論文  参考訳（メタデータ） (2022-07-18T14:54:57Z)
• NeROIC: Neural Rendering of Objects from Online Image Collections [42.02832046768925]
  本稿では,オンライン画像コレクションからオブジェクト表現を取得し,任意のオブジェクトの高品質な形状と材料特性をキャプチャする手法を提案する。 これにより、新規ビュー合成、リライト、調和した背景合成など、さまざまなオブジェクト中心のレンダリングアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2022-01-07T16:45:15Z)
• Unbiased IoU for Spherical Image Object Detection [45.17996641893818]
  まず,球面長方形は球面画像中の物体に対する非バイアス有界な境界ボックスであることを示すとともに,近似を伴わずにIoU計算の解析手法を提案する。 また,不偏表現と計算に基づいて,球面画像に対するアンカー自由物体検出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-18T08:18:37Z)
• Scene Inference for Object Illumination Editing [24.529871334658573]
  IHデータセットと呼ばれる大規模で高品質なデータセットを作成するために,物理ベースのレンダリング手法を適用した。 また,多タスク協調ネットワークである深層学習に基づくSI-GAN法を提案し,オブジェクトの照明を編集する。 提案したSI-GANは,画像ベースのオブジェクト照明編集のための実用的で効果的なソリューションであり,最先端の手法に対する手法の優位性を検証している。
  論文  参考訳（メタデータ） (2021-07-31T05:02:52Z)
• DONet: Learning Category-Level 6D Object Pose and Size Estimation from Depth Observation [53.55300278592281]
  単一深度画像からカテゴリレベルの6次元オブジェクト・ポースとサイズ推定(COPSE)を提案する。 筆者らのフレームワークは,深度チャネルのみの物体のリッチな幾何学的情報に基づいて推論を行う。 我々のフレームワークは、ラベル付き現実世界の画像を必要とする最先端のアプローチと競合する。
  論文  参考訳（メタデータ） (2021-06-27T10:41:50Z)
• Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD Images [69.5662419067878]
  RGBD画像における接地参照表現は新たな分野である。 本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。 提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。 次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
  論文  参考訳（メタデータ） (2021-03-14T11:18:50Z)
• Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve [54.054575408582565]
  本稿では,既存の3次元モデルの大規模データセットを活用し,画像中の物体の3次元構造を理解することを提案する。 本稿では,実世界の画像と検出対象を共同で検出するMask2CADについて,最も類似したCADモデルとそのポーズを最適化する。 これにより、画像内のオブジェクトのクリーンで軽量な表現が生成される。
  論文  参考訳（メタデータ） (2020-07-26T00:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。