論文の概要: Rasterized Edge Gradients: Handling Discontinuities Differentiably
- arxiv url: http://arxiv.org/abs/2405.02508v2
- Date: Fri, 10 May 2024 17:03:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 17:45:54.540893
- Title: Rasterized Edge Gradients: Handling Discontinuities Differentiably
- Title（参考訳）: Rasterized Edge Gradients:不連続性を異なる方法で扱う
- Authors: Stanislav Pidhorskyi, Tomas Simon, Gabriel Schwartz, He Wen, Yaser Sheikh, Jason Saragih,
- Abstract要約: 近似を描画する不連続点の勾配を計算するための新しい手法を提案する。
本手法は, 慎重に設計した近似戦略により, 従来の複雑な問題をエレガントに単純化する。
我々は,人間の頭部のシーン再構成において,カメラ画像とセグメンテーションマスクのハンドリングを実演する。
- 参考スコア（独自算出の注目度）: 25.85191317712521
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computing the gradients of a rendering process is paramount for diverse applications in computer vision and graphics. However, accurate computation of these gradients is challenging due to discontinuities and rendering approximations, particularly for surface-based representations and rasterization-based rendering. We present a novel method for computing gradients at visibility discontinuities for rasterization-based differentiable renderers. Our method elegantly simplifies the traditionally complex problem through a carefully designed approximation strategy, allowing for a straightforward, effective, and performant solution. We introduce a novel concept of micro-edges, which allows us to treat the rasterized images as outcomes of a differentiable, continuous process aligned with the inherently non-differentiable, discrete-pixel rasterization. This technique eliminates the necessity for rendering approximations or other modifications to the forward pass, preserving the integrity of the rendered image, which makes it applicable to rasterized masks, depth, and normals images where filtering is prohibitive. Utilizing micro-edges simplifies gradient interpretation at discontinuities and enables handling of geometry intersections, offering an advantage over the prior art. We showcase our method in dynamic human head scene reconstruction, demonstrating effective handling of camera images and segmentation masks.
- Abstract（参考訳）: レンダリングプロセスの勾配を計算することは、コンピュータビジョンやグラフィックスの様々な応用において最重要である。
しかし、これらの勾配の正確な計算は、特に表面表現やラスタライズに基づくレンダリングにおいて、不連続性やレンダリング近似のために困難である。
本稿では,ラスタライズに基づく微分可能レンダラーの可視性不連続性の勾配計算法を提案する。
提案手法は, 厳密に設計された近似戦略により従来の複雑な問題をエレガントに単純化し, 単純で効果的かつ実効性のある解を実現する。
マイクロエッジの概念を導入し,ラスタライズされた画像を,本質的に微分不可能な離散画素ラスタライゼーションと整合した,微分可能で連続的なプロセスの結果として扱えるようにした。
この技術は、レンダリングされた画像の整合性を保ち、フォワードパスに近似やその他の修正をレンダリングする必要をなくし、フィルタリングが禁止されているラスタ化マスク、深さ、および正常な画像に適用できるようにする。
マイクロエッジの利用は、不連続での勾配解釈を単純化し、幾何学的交叉の扱いを可能にし、以前の技術よりも有利である。
本手法は人間の頭部の動的再構成において,カメラ画像とセグメンテーションマスクの効果的処理を実証するものである。
関連論文リスト
- MIRReS: Multi-bounce Inverse Rendering using Reservoir Sampling [17.435649250309904]
本稿では,新しい2段階逆レンダリングフレームワークであるMIRReSを紹介する。
提案手法は, ステージ1で明示的な幾何(三角形メッシュ)を抽出し, より現実的な物理ベースの逆レンダリングモデルを導入する。
本手法は,自己陰影や内部反射を含む間接照明を効果的に推定する。
論文 参考訳（メタデータ） (2024-06-24T07:00:57Z) - Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。
視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。
本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
論文 参考訳（メタデータ） (2023-11-30T10:36:19Z) - Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。
まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。
本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
論文 参考訳（メタデータ） (2023-02-16T10:40:55Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:55:31Z) - RISP: Rendering-Invariant State Predictor with Differentiable Simulation
and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。
本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。
提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
論文 参考訳（メタデータ） (2022-05-11T17:59:51Z) - Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps [85.67745220834718]
不規則な穴の画像インペインティングを改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を紹介します。
当社のEdge-LBAMメソッドには、予測エッジによる構造認識マスク更新を含むデュアルプロシージャが含まれています。
広範な実験により,エッジlbamはコヒーレントな画像構造を生成し,色差やぼやけを防止できることがわかった。
論文 参考訳（メタデータ） (2021-04-25T07:25:16Z) - Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。
微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。
定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
論文 参考訳（メタデータ） (2021-04-01T09:29:05Z) - Differentiable Drawing and Sketching [0.0]
我々は、点、線、曲線をピクセルに描画する過程の微分可能な緩和を示す。
このリラクゼーションにより、エンドツーエンドの差別化可能なプログラムとディープネットワークを学習および最適化できます。
論文 参考訳（メタデータ） (2021-03-30T09:25:55Z) - A Robust Method for Image Stitching [0.0]
画像中の繰り返しパターンや特徴のない領域に対して頑健な大規模画像縫合法を提案する。
提案手法は,有効な画像登録候補を全て集めることにより,現在の手法を強化する。
論文 参考訳（メタデータ） (2020-04-08T07:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。