論文の概要: ControlGS: Conditioning Neural Gaussians for Downstream-Processing-Aware XR Rendering
- arxiv url: http://arxiv.org/abs/2609.32038v1
- Date: Fri, 25 Sep 2026 22:10:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 03:37:10.889678
- Title: ControlGS: Conditioning Neural Gaussians for Downstream-Processing-Aware XR Rendering
- Title(参考訳): ControlGS: 下流処理対応XRレンダリングのためのニューラルガウスの条件付け
- Abstract要約: 拡張現実性(XR)ユーザは、レンダリングエンジンの出力を直接知覚しない。代わりに、レンダリングされたイメージは、後処理パイプラインと物理的なディスプレイ光学パスを通過して、目に到達する。
従来の3DGS手法では、このダウンストリームパイプラインが画質を保っているか、ダウンストリーム処理の変更に適応できないと暗黙的に仮定している。
我々は、エンドツーエンドの視覚的品質を最適化するXR GaussianレンダリングパイプラインであるControlGSを紹介する。
- 参考スコア(独自算出の注目度): 8.25304921424623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extended Reality (XR) users do not directly perceive the output of a rendering engine. Instead, rendered images pass through a post-processing pipeline and the physical display-optics path before reaching the eye. Critically, the exact downstream processing can vary significantly at run time, influenced by, for instance, camera pose and display power budget. Traditional 3DGS methods either implicitly assume that this downstream pipeline preserves image quality or cannot adapt to downstream processing changes. To bridge this gap, we present ControlGS, an XR Gaussian rendering pipeline that optimizes end-to-end visual quality. ControlGS models and integrates the entire downstream processing, between the rendering output and the human eye, into the optimization objective. To adapt to downstream processing at run time, ControlGS dynamically generates Gaussian primitives conditioned upon the downstream processing parameters. Experiments show that ControlGS consistently improves end-to-end post-optics XR quality across different neural Gaussian backbones and datasets, with minimal overhead. Code is available at https://horizon-lab.org/controlgs/.
- Abstract(参考訳): 拡張現実感(XR)ユーザーは直接レンダリングエンジンの出力を知覚しない。
その代わりに、レンダリングされた画像は、後処理パイプラインと物理的なディスプレイ光学経路を通過して、目に到達する。
重要な点として、正確な下流処理は、例えばカメラポーズやディスプレイパワー予算の影響を受け、実行時に大きく変化する可能性がある。
従来の3DGS手法では、このダウンストリームパイプラインが画質を保っているか、ダウンストリーム処理の変更に適応できないと暗黙的に仮定している。
このギャップを埋めるために、私たちは、エンドツーエンドの視覚的品質を最適化するXR GaussianレンダリングパイプラインであるControlGSを紹介します。
ControlGSは、レンダリング出力と人間の目の間で、下流処理全体を最適化目標にモデル化し、統合する。
ダウンストリーム処理に実行時に適応するために、ControlGSは、ダウンストリーム処理パラメータに条件付きガウスプリミティブを動的に生成する。
実験によると、ControlGSは、さまざまなニューラルガウスバックボーンとデータセットにわたって、最小限のオーバーヘッドで、エンドツーエンドのXR品質を一貫して改善している。
コードはhttps://horizon-lab.org/controlgs/.comで入手できる。
関連論文リスト
- On the Diffusibility of High-Dimensional Latents [58.53062634202064]
オフザシェルフエンコーダは忠実な再構築には最適化されておらず、きめ細かい視覚的詳細は捨てている。
この高次元空間における流れマッチングにおける標準速度予測は、低次元信号多様体の外側の雑音方向を適合させる必要があることを示す。
これは代わりにクリーンなデータパラメータ化(boldsymbolx_0$-prediction)を使うことを動機付け、基礎となる信号多様体を学習する。
論文 参考訳(メタデータ) (2026-09-23T17:59:56Z) - VoxelTTO: Voxel-Aligned Feed-Forward 3D Gaussian Splatting with Test-Time Optimization [0.315348912304067]
VoxelTTOは任意の数の画像とオプションのカメラパラメータから3DGSシーンを再構築するためのフィードフォワードフレームワークである。
画像特徴をグローバルなボクセル表現に集約し、ガウシアンをボクセル特徴から復号し、ピクセル対ガウシアン対応を破る。
論文 参考訳(メタデータ) (2026-09-18T08:48:57Z) - TokenGS: Decoupling 3D Gaussian Prediction from Pixels with Learnable Tokens [25.44390249542703]
我々は、カメラ線に沿った奥行きが最適であるとして、ガウスを退避させる一般的な実践は、準最適であると主張する。
本稿では,自己教師付きレンダリング損失のみを用いて,3次元平均座標を直接回帰する手法を提案する。
提案手法であるTokenGSは、ノイズやマルチビューの不整合に対処するための堅牢性の向上を実証する。
論文 参考訳(メタデータ) (2026-04-16T17:12:37Z) - DirectFisheye-GS: Enabling Native Fisheye Input in Gaussian Splatting with Cross-View Joint Optimization [17.91043282211744]
3D Gaussian Splatting (3DGS)は、リアルタイム高忠実なレンダリングによる日常画像からの効率的な3Dシーン再構築を実現している。
より広い視野(FOV)を持つ魚眼カメラは、少ない入力から高品質な再構築を約束する。
論文 参考訳(メタデータ) (2026-04-01T09:00:04Z) - Image-Conditioned Adaptive Parameter Tuning for Visual Odometry Frontends [21.343239924094764]
資源に制約のある自律ロボットは、疎直かつ半直接的なビジュアル・オドメトリー(VO)パイプラインに依存している。
VOパラメータのオンラインチューニングのための最初の画像条件強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-23T10:26:25Z) - GSStream: 3D Gaussian Splatting based Volumetric Scene Streaming System [52.652341168561016]
3DGSデータフォーマットをサポートする新しいボリュームシーンストリーミングシステムであるGSStreamを提案する。
GSStreamは協調的なビューポート予測モジュールを統合し、ユーザの将来の振る舞いをより正確に予測する。
提案するGSStreamシステムは,視覚的品質とネットワーク使用量において,既存の代表的なボリュームストリーミングシステムより優れている。
論文 参考訳(メタデータ) (2026-03-10T14:25:00Z) - High-Frequency Prior-Driven Adaptive Masking for Accelerating Image Super-Resolution [87.56382172827526]
高周波領域は再建に最も重要である。
本稿では,アクセラレーションのためのトレーニング不要適応マスキングモジュールを提案する。
本手法は,最先端モデルのFLOPを24~43%削減する。
論文 参考訳(メタデータ) (2025-05-11T13:18:03Z) - LoopSparseGS: Loop Based Sparse-View Friendly Gaussian Splatting [18.682864169561498]
LoopSparseGSは、疎結合なビュー合成タスクのためのループベースの3DGSフレームワークである。
Sparse-Friended Smpling (SFS) 戦略を導入し,ガウス楕円体を過剰に処理し,画素誤差が大きくなった。
4つのデータセットの実験により、LoopSparseGSはスパース・インプット・ノベルビューの合成において既存の最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-08-01T03:26:50Z) - Image-GS: Content-Adaptive Image Representation via 2D Gaussians [52.598772767324036]
本稿では,2次元ガウス放射率に基づくコンテンツ適応型画像表現であるImage-GSを紹介する。
リアルタイム使用のためにハードウェアフレンドリーな高速アクセスをサポートし、ピクセルをデコードするためには0.3KのMACしか必要としない。
テクスチャ圧縮、セマンティクス対応圧縮、共同画像圧縮と復元など、いくつかのアプリケーションでその汎用性を実証する。
論文 参考訳(メタデータ) (2024-07-02T00:45:21Z) - Is Attention All NeRF Needs? [103.51023982774599]
Generalizable NeRF Transformer (GNT) は、ソースビューから高速にNeRF(Neural Radiance Fields)を効率的に再構築する、純粋で統一されたトランスフォーマーベースのアーキテクチャである。
GNTは、2つのトランスフォーマーベースのステージをカプセル化することにより、一般化可能なニューラルシーン表現とレンダリングを実現する。
論文 参考訳(メタデータ) (2022-07-27T05:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。