論文の概要: LAPIG: Language Guided Projector Image Generation with Surface Adaptation and Stylization

• arxiv url: http://arxiv.org/abs/2503.12173v1
• Date: Sat, 15 Mar 2025 15:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:29:20.834350
• Title: LAPIG: Language Guided Projector Image Generation with Surface Adaptation and Stylization
• Title（参考訳）: LAPIG:表面適応とスティル化による言語ガイドプロジェクタ画像生成
• Authors: Yuchen Deng, Haibin Ling, Bingyao Huang,
• Abstract要約: LAPIGはユーザテキストプロンプトを入力として、プロジェクタを使って表面スタイルを変換することを目的としている。 投影面適応(PSA)は補償可能な表面スタイリングを生成する。 生成した画像は、視覚的に表面の形状を楽しませるために投影される。
• 参考スコア（独自算出の注目度）: 54.291669057240476
• License:
• Abstract: We propose LAPIG, a language guided projector image generation method with surface adaptation and stylization. LAPIG consists of a projector-camera system and a target textured projection surface. LAPIG takes the user text prompt as input and aims to transform the surface style using the projector. LAPIG's key challenge is that due to the projector's physical brightness limitation and the surface texture, the viewer's perceived projection may suffer from color saturation and artifacts in both dark and bright regions, such that even with the state-of-the-art projector compensation techniques, the viewer may see clear surface texture-related artifacts. Therefore, how to generate a projector image that follows the user's instruction while also displaying minimum surface artifacts is an open problem. To address this issue, we propose projection surface adaptation (PSA) that can generate compensable surface stylization. We first train two networks to simulate the projector compensation and project-and-capture processes, this allows us to find a satisfactory projector image without real project-and-capture and utilize gradient descent for fast convergence. Then, we design content and saturation losses to guide the projector image generation, such that the generated image shows no clearly perceivable artifacts when projected. Finally, the generated image is projected for visually pleasing surface style morphing effects. The source code and video are available on the project page: https://Yu-chen-Deng.github.io/LAPIG/.
• Abstract（参考訳）: 表面適応とスタイリゼーションを備えた言語誘導プロジェクタ画像生成手法であるLAPIGを提案する。 LAPIGはプロジェクターカメラシステムとターゲットテクスチャ化された投影面で構成されている。 LAPIGはユーザテキストプロンプトを入力とし、プロジェクタを使って表面スタイルを変換する。 LAPIGの鍵となる課題は、プロジェクターの物理的明るさ制限と表面テクスチャにより、ビューアーの知覚されるプロジェクターは、暗黒領域と明るい領域の両方における彩度とアーティファクトに悩まされ、例えば最先端のプロジェクター補償技術であっても、ビューアーは透明な表面テクスチャ関連アーティファクトを見ることができることである。 したがって、最小表面のアーティファクトを表示しながら、ユーザの指示に従ってプロジェクタイメージを生成する方法は、オープンな問題である。 この問題に対処するために、補償可能な表面スタイリングを生成するプロジェクション表面適応(PSA)を提案する。 まず、プロジェクタ補償とプロジェクト・アンド・キャプチャ・プロセスをシミュレートするために2つのネットワークを訓練し、実際のプロジェクト・アンド・キャプチャーを使わずに良好なプロジェクタ画像を見つけ、勾配勾配を高速収束に活用する。 そして,プロジェクタ画像生成のガイドとなるコンテンツと飽和損失を設計し,プロジェクタ画像がプロジェクタがプロジェクタを映し出す際に,明確に知覚できる成果物を示さないようにした。 最後に、生成した画像は、表面形状の変形効果を視覚的に楽しませるために投影される。 ソースコードとビデオはプロジェクトページ(https://Yu-chen-Deng.github.io/LAPIG/)で公開されている。

関連論文リスト

• Neural Projection Mapping Using Reflectance Fields [11.74757574153076]
  我々は、プロジェクターを神経反射場に導入し、プロジェクターを校正し、リアルな光編集を行う。 私たちのニューラルネットワークは3つのニューラルネットワークで構成されています。 ニューラルプロジェクションマッピングは、シーンとプロジェクションイメージの共同最適化を通じて、新規でエキサイティングな下流タスクへの扉を開くと信じている。
  論文  参考訳（メタデータ） (2023-06-11T05:33:10Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• ENVIDR: Implicit Differentiable Renderer with Neural Environment Lighting [9.145875902703345]
  ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。 まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。 次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-23T04:12:07Z)
• PixHt-Lab: Pixel Height Based Light Effect Generation for Image Compositing [34.76980642388534]
  影や反射のような照明効果は、合成画像が現実的で視覚的に魅力的になるのに重要である。 このような効果を生成するために、従来のコンピュータグラフィックスは物理ベースと3D幾何学を用いている。 最近のディープラーニングベースのアプローチでは、ソフトシャドウと反射を生成するピクセルの高さ表現が導入されている。 本稿では,ピクセルの高さ表現から3次元空間への明示的なマッピングを利用するPixHt-Labを紹介する。
  論文  参考訳（メタデータ） (2023-02-28T23:52:01Z)
• Designing An Illumination-Aware Network for Deep Image Relighting [69.750906769976]
  本稿では、階層的なサンプリングから1つの画像からシーンを段階的にリライトするためのガイダンスに従うイルミネーション・アウェア・ネットワーク(IAN)を提案する。 さらに、物理レンダリングプロセスの近似として、イルミネーション・アウェア・残留ブロック(IARB)が設計されている。 実験の結果,提案手法は従来の最先端手法よりも定量的,定性的な照準結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-07-21T16:21:24Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• Cutting Voxel Projector a New Approach to Construct 3D Cone Beam CT Operator [0.10923877073891444]
  我々は3次元コーンビームトモグラフィ再構成のための新しいプロジェクターのクラスを導入する。 本手法は, ボクセルの局所改質を可能にし, 適応格子分解能と再構成品質の向上を実現する。 その結果, カットボクセルプロジェクターはTTプロジェクターよりも精度が高く, 特にコーンビーム角が大きいことが判明した。
  論文  参考訳（メタデータ） (2021-10-19T10:54:01Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme [68.8204255655161]
  本報告では,その目的を達成するための手法について述べる。 我々のモデルは、シーン内容、光源位置、色温度の異なる、人工的な場所のレンダリングデータセットに基づいて訓練されている。 本データセットでは,被写体の潜在空間表現における光条件の推測と置き換えを目的とした照明推定成分を用いたネットワークを用いた。
  論文  参考訳（メタデータ） (2020-06-03T15:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。