論文の概要: An Illumination-Robust Feature Extractor Augmented by Relightable 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2410.00629v1
• Date: Tue, 1 Oct 2024 12:22:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 04:35:05.198212
• Title: An Illumination-Robust Feature Extractor Augmented by Relightable 3D Reconstruction
• Title（参考訳）: ライティング可能な3次元再構成による照明・ローバスト外挿装置の試作
• Authors: Shunyi Zhao, Zehuan Yu, Zuxin Fan, Zhihao Zhou, Lecheng Ruan, Qining Wang,
• Abstract要約: 本稿では,照明・損音特徴抽出器の設計手順を提案する。 キーポイントの繰り返し可能性の利点を生かした特徴抽出のための自己教師型フレームワークを提案する。 頑健な特徴抽出のための提案手法の有効性を実証するために実験を行った。
• 参考スコア（独自算出の注目度）: 3.521488914633549
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual features, whose description often relies on the local intensity and gradient direction, have found wide applications in robot navigation and localization in recent years. However, the extraction of visual features is usually disturbed by the variation of illumination conditions, making it challenging for real-world applications. Previous works have addressed this issue by establishing datasets with variations in illumination conditions, but can be costly and time-consuming. This paper proposes a design procedure for an illumination-robust feature extractor, where the recently developed relightable 3D reconstruction techniques are adopted for rapid and direct data generation with varying illumination conditions. A self-supervised framework is proposed for extracting features with advantages in repeatability for key points and similarity for descriptors across good and bad illumination conditions. Experiments are conducted to demonstrate the effectiveness of the proposed method for robust feature extraction. Ablation studies also indicate the effectiveness of the self-supervised framework design.
• Abstract（参考訳）: 視覚的特徴は、しばしば局所的な強度と勾配の方向に依存するが、近年ではロボットナビゲーションや局所化に広く応用されている。 しかし、視覚的特徴の抽出は通常、照明条件の変化によって妨げられ、現実のアプリケーションでは困難である。 これまでの研究では、照明条件の異なるデータセットを確立することでこの問題に対処してきたが、コストと時間を要する可能性がある。 本稿では,照明条件の異なる高速かつ直接的なデータ生成のために,最近開発された3D再構成技術を採用した照明汚染特徴抽出器の設計手順を提案する。 キーポイントの繰り返し可能性と、良質な照明条件と悪質な照明条件における記述子との類似性に長けた特徴を抽出するための自己教師型フレームワークを提案する。 頑健な特徴抽出のための提案手法の有効性を実証するために実験を行った。 アブレーション研究は、自己監督型フレームワークの設計の有効性も示している。

関連論文リスト

• Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections [30.321151430263946]
  本稿では、制約のない写真コレクションに最適化された3DGSの革新的な適応であるWild-GSについて述べる。 Wild-GSは、それぞれの3Dガウスの出現を、その固有の材料特性、大域照明と画像当たりのカメラ特性、反射率の点レベルの局所的ばらつきによって決定する。 この斬新な設計は、参照ビューの高周波詳細外観を3次元空間に効果的に転送し、トレーニングプロセスを大幅に高速化する。
  論文  参考訳（メタデータ） (2024-06-14T19:06:07Z)
• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• REFRAME: Reflective Surface Real-Time Rendering for Mobile Devices [51.983541908241726]
  本研究は,様々な場面にまたがる反射面に対して,リアルタイムな新規ビュー合成を実現するための課題に取り組む。 既存のリアルタイムレンダリング手法、特にメッシュに基づくレンダリングは、リッチなビュー依存の外観を持つモデリングサーフェスにおいて、サブパーパフォーマンスを持つことが多い。 色を拡散およびスペクトルに分解し、ニューラル環境マップに基づいて反射方向のスペクトル色をモデル化する。
  論文  参考訳（メタデータ） (2024-03-25T07:07:50Z)
• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• Learning Visibility Field for Detailed 3D Human Reconstruction and Relighting [19.888346124475042]
  本稿では,新たな視界を付加した疎視的3次元人体再構成フレームワークを提案する。 提案手法の有効性を再現精度の観点から検証し, 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-04-24T08:19:03Z)
• Sparse Needlets for Lighting Estimation with Spherical Transport Loss [89.52531416604774]
  NeedleLightは、新しい照明推定モデルであり、必要に応じて照明を表現し、周波数領域と空間領域を共同で照明推定することができる。 大規模な実験により、NeedleLightは、最先端の手法と比較して、複数の評価指標で常に優れた照明推定を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-06-24T15:19:42Z)
• NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis [45.71507069571216]
  本稿では,無拘束の照明により照らされたシーンの画像を入力として入力する手法を提案する。 これにより、任意の照明条件下で新しい視点からレンダリングできる3D表現を生成します。
  論文  参考訳（メタデータ） (2020-12-07T18:56:08Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。