論文の概要: LumiTokens: 3D Relighting via Token-Space Lighting Transformation
- arxiv url: http://arxiv.org/abs/2608.18215v1
- Date: Tue, 18 Aug 2026 18:00:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.179607
- Title: LumiTokens: 3D Relighting via Token-Space Lighting Transformation
- Title（参考訳）: LumiTokens:Token-Space Lighting Transformationによる3Dライティング
- Abstract要約: 本稿では、3Dライティングを潜在シーントークンの直接変換として定式化するフレームワークであるLumiTokensを紹介する。
本モデルでは,自己注意によるシーントークンと光線トークンを併用して処理するシーントークンエディタを提案する。
実験では、LumiTokensは他のメソッドと同等か、あるいは優れたライティング品質を達成している。
- 参考スコア（独自算出の注目度）: 19.630351342370354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing 3D relighting methods operate through either explicit material decomposition, diffusion-based view-space generation, or a combination of both, requiring full recomputation for each new lighting condition. We observe that recent latent scene representations, which encode multi-view images into a set of compact tokens with no fixed physical semantics, open up a novel design space for relighting. We present LumiTokens, a framework that formulates 3D relighting as a direct transformation on latent scene tokens, without explicit 3D representations, rendering equations, or physics-based decomposition. Our model introduces a Scene Token Editor that processes scene tokens jointly with light-ray tokens through self-attention, producing updated tokens that can be decoded into multi-view-consistent relit images. To support diverse lighting types through a unified interface, all lighting signals, including environment maps, point lights, and area lights, are parameterized as Plucker ray tokens, enabling native 3D user interaction with a representation that carries no explicit spatial structure. Crucially, this design supports progressive relighting: because the editor's output remains in the same latent space as its input, a user can incrementally build up illumination one light source at a time, with each edit composing in token space. Experiments demonstrate that LumiTokens achieves comparable or superior relighting quality to other methods and supports progressive, composable lighting edits. Project page: https://neu-vi.github.io/LumiTokens/
- Abstract（参考訳）: 既存の3Dリライト法は、明示的な物質分解、拡散ベースのビュースペース生成、またはこれらの組み合わせによって動作し、新しい照明条件ごとに完全な再計算を必要とする。
物理意味論のないコンパクトなトークンの集合に多視点画像をエンコードした最近の潜時シーン表現は、リライティングのための新しいデザイン空間を開くことを観察する。
我々は,3次元表現やレンダリング方程式,物理に基づく分解を伴わずに,潜在シーントークンの直接変換として3次元リライトを定式化するフレームワークであるLumiTokensを提案する。
本モデルでは,シーントークンと光線トークンを同時処理するScene Token Editorを導入し,マルチビュー一貫性のある依存画像にデコード可能な更新トークンを生成する。
統一インターフェースを介して多様な照明タイプをサポートするため、環境マップ、点灯、エリアライトを含む全ての照明信号は、Plucker rayトークンとしてパラメータ化され、明示的な空間構造を持たない表現とのネイティブ3Dユーザインタラクションを可能にする。
この設計は、プログレッシブ・リライトをサポートしており、エディタの出力は入力と同じ潜在空間に留まっているため、ユーザーはトークン空間に各編集を組み込んで、一度に1つの光源を照らすことができる。
実験により、LumiTokensは他の方法と同等または優れたライティング品質を達成し、プログレッシブで構成可能なライティング編集をサポートすることが示された。
プロジェクトページ:https://neu-vi.github.io/LumiTokens/
関連論文リスト
- LightFuse: Relightable Interactive Gaussian Scene Reconstruction via Multi-Scan Fusion and 2D Gaussian Ray Tracing [19.013915783052433]
Relightable Interactive scene reconstructionは、異なるオブジェクト配列のスキャンから編集可能な3Dモデルを構築し、新しい照明の下で新しいレイアウトをレンダリングすることを目的としている。
本稿では,2次元ガウスフレームワークのLightFuseについて述べる。
論文 参考訳（メタデータ） (2026-08-29T13:49:13Z) - Decoupled Illumination Priors for Spatially Controllable Multi-View Indoor Scene Relighting [25.64036257408644]
本研究では,空間制御可能な室内照明のためのプログレッシブフレームワークであるLume-Paletteを提案する。
提案手法は,(1)標準照明パレットを抽出する照明蒸留法,(2)目標空間照明条件を明示的にマッピングする照明鋳造法,の2段階に分けられる。
多様な合成シーンと実世界のシーンの実験は、ルーム・パレットが光現実的で空間的に制御可能で、多視点で一貫したリライティング結果を生み出すことを示した。
論文 参考訳（メタデータ） (2026-07-09T19:09:48Z) - TokenLight: Precise Lighting Control in Images using Attribute Tokens [36.19968483255676]
我々は条件付き画像生成タスクとしてリライティングを定式化し、照明要素をエンコードする属性トークンを導入する。
このモデルは、グラウンドトルース照明アノテーションを用いた大規模な合成データセットで訓練されている。
我々は,室内照明器具の制御や編集環境の照明など,様々な照明作業におけるアプローチを検証する。
論文 参考訳（メタデータ） (2026-04-16T17:59:50Z) - SceneTok: A Compressed, Diffusable Token Space for 3D Scenes [18.094424146923892]
SceneTokは、シーンのビューセットを圧縮・拡散可能な非構造化トークンセットにエンコードする新しいトークンである。
圧縮が他の表現よりも1～3桁強く、なおも最先端の復元品質に到達していることを示す。
論文 参考訳（メタデータ） (2026-02-21T16:08:17Z) - LightSwitch: Multi-view Relighting with Material-guided Diffusion [73.5965603000002]
LightSwitchは、新しいファインチューニングされたマテリアルライティング拡散フレームワークである。
我々の2Dリライティング予測品質は、画像から直接リライティングする過去の最先端リライティングよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-08-08T17:59:52Z) - UVA: Towards Unified Volumetric Avatar for View Synthesis, Pose
rendering, Geometry and Texture Editing [83.0396740127043]
テクスチャとテクスチャの両方を局所的に編集できるtextbfUnified textbfVolumetric textbfAvatar (textbfUVA) という新しいアプローチを提案する。
UVAは、各観測点をスキン運動場を用いて標準空間に変換し、別々の神経場における幾何学とテクスチャを表現する。
複数の人体アバターの実験により、UVAが新しいビュー合成と新しいポーズレンダリングを実現していることが示された。
論文 参考訳（メタデータ） (2023-04-14T07:39:49Z) - UMIFormer: Mining the Correlations between Similar Tokens for Multi-View
3D Reconstruction [9.874357856580447]
非構造化多重画像(UMIFormer)のためのトランスフォーマネットワークを提案する。
これは、切り離されたビュー内エンコーディングのためのトランスフォーマーブロックと、トークンの修正のために設計されたブロックを利用する。
様々な分岐から取得した全てのトークンは、固定サイズのコンパクト表現に圧縮される。
論文 参考訳（メタデータ） (2023-02-27T17:27:45Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳（メタデータ） (2022-05-19T06:44:37Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z) - Improving Visual Quality of Image Synthesis by A Token-based Generator
with Transformers [51.581926074686535]
本稿では,このタスクを視覚的トークン生成問題とみなして,画像合成の新たな視点を示す。
提案したTokenGANは、広く使われている画像合成ベンチマークで最先端の結果を得た。
論文 参考訳（メタデータ） (2021-11-05T12:57:50Z) - NeLF: Practical Novel View Synthesis with Neural Light Field [93.41020940730915]
複雑なシーンの新規なビュー合成のための実用的で堅牢なディープラーニングソリューションを提案する。
我々のアプローチでは、連続的なシーンは光場、すなわち光線の集合として表現され、それぞれが対応する色を持つ。
インタラクティブなフレームレートを維持しながら、最新の新しいビュー合成結果を実現します。
論文 参考訳（メタデータ） (2021-05-15T01:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。