論文の概要: TTB: Test-time Baking for Efficient Rendering of Decoder-only View Synthesis Models
- arxiv url: http://arxiv.org/abs/2611.17331v1
- Date: Thu, 12 Nov 2026 18:59:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.603198
- Title: TTB: Test-time Baking for Efficient Rendering of Decoder-only View Synthesis Models
- Title(参考訳): TTB:デコーダのみのビュー合成モデルの効率的なレンダリングのためのテスト時間ベイキング
- Abstract要約: TTB(Test-Time Baking)は、クロスビューからライトウェイトにグローバルなシーン情報を焼く方法を学ぶ戦略である。
提案手法は,複数のベンチマークにおける最先端技術と同等の精度で,**23x*のレンダリング高速化を実現する。
- 参考スコア(独自算出の注目度): 71.88418556743984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decoder-only Large View Synthesis Models (LVSMs) with KV-cache have recently achieved state-of-the-art quality by regressing novel views from neural networks without reconstructing 3D geometry, while Test-Time Training (TTT) layers save computation but sacrifice quality. We propose Test-Time Baking (TTB), a strategy that learns to bake global scene information from cross-view attention into a lightweight MLP, enabling fast and high-fidelity novel-view decoding. The first key is to repurpose the fast-weight MLP of TTT to learn the cross-view attention mapping explicitly from its input-output pairs, rather than replacing attention entirely, achieving the same rendering efficiency as TTT while delivering substantially higher quality. The second key addresses a modality misalignment between context prefilling and novel-view rendering: we disentangle context tokens into camera-only context rendering tokens to serve as TTB input, and context ground-truth tokens with image content to serve as the TTB mapping target, ensuring the baked MLPs are relieved of the modality generalization challenge between context and novel-view processing. Our method achieves up to **23x** rendering speedup with quality on par with the state-of-the-art across several benchmarks. Project page: https://test-time-baking.github.io
- Abstract(参考訳): KVキャッシュを持つデコーダのみの大規模ビュー合成モデル(LVSM)は、最近、ニューラルネットワークから新しいビューを3次元幾何学を再構築することなく後退させることにより、最先端の品質を達成した。一方、テスト時間トレーニング(TTT)層は計算を節約し、品質を犠牲にする。
テストタイム・ベーキング(TTB)は,世界的シーン情報を横断的注目から軽量MPPに焼成し,高速かつ高忠実なノベルビュー・デコードを可能にする戦略である。
第1の鍵は、TTTの高速なMLPを再利用して、TTTと全く同じレンダリング効率を達成しつつ、かなり高い品質を実現することなく、その入力出力ペアから、クロスビューのアテンションマッピングを明示的に学習することである。
第2のキーは、コンテキストプリフィルとノベルビューレンダリングの間のモダリティの相違に対処する: コンテクストトークンを、TBB入力として機能するカメラ専用コンテキストレンダリングトークンと、TBBマッピングターゲットとして機能する画像コンテンツを備えたコンテクストベーストラストトークンに分解し、コンテクストとノベルビュー処理の間のモダリティの一般化課題を解消する。
提案手法は,複数のベンチマークにおける最先端技術と同等の精度で,**23x*のレンダリング高速化を実現する。
プロジェクトページ: https://test-time-baking.github.io
関連論文リスト
- ENCORE: Entropy-Guided Cropping and Attention Regularization for Robust Vision--Language Understanding [40.664306877870715]
Vision-Language Models (VLM) は様々な視覚言語タスクでうまく機能するが、トランスフォーマーベースのビジュアルエンコーダは画像を固定解像度のサブイメージに分割する。
既存の手法は視覚的モダリティにのみ焦点を合わせており、プロンプト関連領域の完全性を動的に保存することができない。
2つのコンポーネントを持つエントロピー誘導フレームワークである textbfENCORE を提案する。
論文 参考訳(メタデータ) (2026-08-24T09:00:02Z) - Weak to Strong: VLM-Based Pseudo-Labeling as a Weakly Supervised Training Strategy in Multimodal Video-based Hidden Emotion Understanding Tasks [4.888851550406879]
本稿では,映像中の「概念的感情」の自動認識に取り組むための弱視的枠組みを提案する。
実験により、厳密なクラス不均衡にもかかわらず、提案手法は以前の作業で0.6以下から0.69以上に上昇することが示された。
論文 参考訳(メタデータ) (2026-02-08T17:02:55Z) - JEPA-T: Joint-Embedding Predictive Architecture with Text Fusion for Image Generation [10.00677022779314]
画像とキャプションを個別の視覚的およびテキスト的トークンに符号化する統合マルチモーダルフレームワークを提案する。
タスク非依存のバックボーンを維持しながら条件付き認知のための特徴予測器のクロスアテンションを組み込んだ。
提案手法は, トークンベースのT2Iにおいて, 遅延アーキテクチャ融合と目的レベルのアライメントを組み合わせることで, コンディショニング強度とバックボーンの汎用性とを効果的にバランスできることを示す。
論文 参考訳(メタデータ) (2025-10-01T14:51:10Z) - Capturing Co-existing Distortions in User-Generated Content for
No-reference Video Quality Assessment [9.883856205077022]
ビデオ品質アセスメント(VQA)は、ビデオの知覚品質を予測することを目的としている。
VQAはユーザ生成コンテンツ(UGC)ビデオで未解決の2つの過小評価課題に直面している。
品質関連スパース特徴をより効率的に抽出するためのtextitVisual Quality Transformer (VQT) を提案する。
論文 参考訳(メタデータ) (2023-07-31T16:29:29Z) - TVTSv2: Learning Out-of-the-box Spatiotemporal Visual Representations at
Scale [59.01246141215051]
言語指導の観点から,その劣化要因を分析した。
本稿では,テキストエンコーダの一般化能力を維持するために,教師なし事前学習戦略を提案する。
最大10億のパラメータを持つTVTSv2と呼ばれる一連のモデルを作成します。
論文 参考訳(メタデータ) (2023-05-23T15:44:56Z) - Text-Conditioned Sampling Framework for Text-to-Image Generation with
Masked Generative Models [52.29800567587504]
そこで本研究では,テキスト情報を用いた局所的監視により最適なトークンを選択するための,学習可能なサンプリングモデルであるテキスト定義トークン選択(TCTS)を提案する。
TCTSは画像の品質だけでなく、生成された画像と与えられたテキストのセマンティックアライメントも改善する。
我々は、周波数適応サンプリング(FAS)と様々な生成タスクを組み合わせたTCTSの有効性を検証し、画像テキストのアライメントや画質において、ベースラインを著しく上回ることを示す。
論文 参考訳(メタデータ) (2023-04-04T03:52:49Z) - You Can Ground Earlier than See: An Effective and Efficient Pipeline for
Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。
それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。
本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
論文 参考訳(メタデータ) (2023-03-14T12:53:27Z) - Modeling Image Composition for Complex Scene Generation [77.10533862854706]
本稿では,レイアウト・ツー・イメージ生成タスクにおける最先端結果を実現する手法を提案する。
本稿では,RGB画像をパッチトークンに圧縮した後,オブジェクト・トゥ・オブジェクト,オブジェクト・トゥ・パッチ,パッチ・トゥ・パッチの依存関係を探索するTransformer with Focal Attention (TwFA)を提案する。
論文 参考訳(メタデータ) (2022-06-02T08:34:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。