論文の概要: Enhancing NeRF akin to Enhancing LLMs: Generalizable NeRF Transformer
with Mixture-of-View-Experts
- arxiv url: http://arxiv.org/abs/2308.11793v1
- Date: Tue, 22 Aug 2023 21:18:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 16:37:07.038276
- Title: Enhancing NeRF akin to Enhancing LLMs: Generalizable NeRF Transformer
with Mixture-of-View-Experts
- Title(参考訳): LLMの強化に類似したNeRFの強化:視界混合型一般化可能なNeRF変換器
- Authors: Wenyan Cong, Hanxue Liang, Peihao Wang, Zhiwen Fan, Tianlong Chen,
Mukund Varma, Yi Wang, Zhangyang Wang
- Abstract要約: クロスシーンの一般化可能なNeRFモデルは、NeRFフィールドの新たなスポットライトとなっている。
我々は、大規模言語モデルから強力なMixture-of-Experts(MoE)のアイデアを"神経化"アーキテクチャにブリッジする。
提案手法は,GNT-MOVE (Mixture-of-View-Experts) とよばれるモデルで,未知のシーンに移動する際の最先端の結果を実験的に示す。
- 参考スコア(独自算出の注目度): 88.23732496104667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-scene generalizable NeRF models, which can directly synthesize novel
views of unseen scenes, have become a new spotlight of the NeRF field. Several
existing attempts rely on increasingly end-to-end "neuralized" architectures,
i.e., replacing scene representation and/or rendering modules with performant
neural networks such as transformers, and turning novel view synthesis into a
feed-forward inference pipeline. While those feedforward "neuralized"
architectures still do not fit diverse scenes well out of the box, we propose
to bridge them with the powerful Mixture-of-Experts (MoE) idea from large
language models (LLMs), which has demonstrated superior generalization ability
by balancing between larger overall model capacity and flexible per-instance
specialization. Starting from a recent generalizable NeRF architecture called
GNT, we first demonstrate that MoE can be neatly plugged in to enhance the
model. We further customize a shared permanent expert and a geometry-aware
consistency loss to enforce cross-scene consistency and spatial smoothness
respectively, which are essential for generalizable view synthesis. Our
proposed model, dubbed GNT with Mixture-of-View-Experts (GNT-MOVE), has
experimentally shown state-of-the-art results when transferring to unseen
scenes, indicating remarkably better cross-scene generalization in both
zero-shot and few-shot settings. Our codes are available at
https://github.com/VITA-Group/GNT-MOVE.
- Abstract(参考訳): 見えないシーンの新たなビューを直接合成できるクロスシーン一般化可能なNeRFモデルは、NeRFフィールドの新たなスポットライトとなっている。
いくつかの既存の試みは、シーン表現やレンダリングモジュールをトランスフォーマーのような高性能ニューラルネットワークに置き換え、新しいビュー合成をフィードフォワード推論パイプラインに変換するなど、ますますエンドツーエンドの"ニューラル化"アーキテクチャに依存している。
これらのフィードフォワードの"神経化"アーキテクチャは、まだ多様なシーンに適していないが、大規模言語モデル(LLM)からの強力なMixture-of-Experts(MoE)のアイデアでそれらを橋渡しすることを提案し、より大規模なモデルキャパシティと柔軟なインスタンスごとの特殊化のバランスをとることで、より優れた一般化能力を示す。
GNTと呼ばれる最近の一般化可能なNeRFアーキテクチャから始め、まずモデルを強化するためにMoEをきちんと接続できることを実証する。
さらに,多面的一貫性と空間的滑らかさをそれぞれ適用するために,共有された恒常的専門家と幾何学的整合性損失をカスタマイズする。
gnt with mixed-of-view-experts (gnt-move) と名づけたこのモデルでは,未発見のシーンに転送する時の最先端の結果が実験的に示された。
私たちのコードはhttps://github.com/VITA-Group/GNT-MOVE.comで公開されています。
関連論文リスト
- VMamba: Visual State Space Model [96.83847407325486]
畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、視覚表現学習の最も一般的な2つの基礎モデルである。
計算効率を向上しつつ,これらのコンポーネントを継承する新しいアーキテクチャを提案する。
空間領域を横断するクロススキャンモジュール(CSM)を導入し,任意の非因果的視覚画像を順序付きパッチシーケンスに変換する。
論文 参考訳(メタデータ) (2024-01-18T17:55:39Z) - MuRF: Multi-Baseline Radiance Fields [122.62137182711804]
スパースビュー合成におけるフィードフォワードアプローチであるmulti-Baseline Radiance Fields(MuRF)を提案する。
MuRFは、複数の異なるベースライン設定で最先端のパフォーマンスを達成する。
また、Mip-NeRF 360データセット上でゼロショットの一般化能力を示す。
論文 参考訳(メタデータ) (2023-12-07T18:59:56Z) - RING-NeRF : Rethinking Inductive Biases for Versatile and Efficient Neural Fields [1.1816466088976698]
本稿では2つの帰納バイアスを含むRING-NeRFアーキテクチャを提案する。
単一の再構成プロセスは、誘導バイアスを生かし、オンパー性能を実験的に示す。
また、これらの帰納バイアスを生かした単一再構成プロセスを設計し、オンパー性能を実験的に実証する。
論文 参考訳(メタデータ) (2023-12-06T08:54:04Z) - CaesarNeRF: Calibrated Semantic Representation for Few-shot
Generalizable Neural Rendering [48.890883976966556]
CaesarNeRFは、数ショットで一般化可能なニューラルレンダリングを前進させるエンドツーエンドのアプローチである。
CaesarNeRFは様々な参照ビューにまたがって最先端のパフォーマンスを提供する。
論文 参考訳(メタデータ) (2023-11-27T03:09:58Z) - InsertNeRF: Instilling Generalizability into NeRF with HyperNet Modules [24.73150151560723]
ニューラル・ラジアンス・フィールド(NeRF)を新しいシーンに一般化することは大きな課題である。
InsertNeRF, INStilling gEneRalizabiliTy into NeRF。
論文 参考訳(メタデータ) (2023-08-26T14:50:24Z) - Intra- & Extra-Source Exemplar-Based Style Synthesis for Improved Domain
Generalization [21.591831983223997]
セマンティックセグメンテーションにおけるドメインの一般化を改善するために,先進的なスタイル合成パイプラインを提案する。
提案手法は,StyleGAN2インバージョンのためのマスク付きノイズエンコーダに基づく。
データシフトの種類によって、ドライブシーンセマンティックセマンティックセグメンテーションの最大12.4%のmIoU改善を実現しています。
論文 参考訳(メタデータ) (2023-07-02T19:56:43Z) - Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via
Algorithm-Hardware Co-Design [29.582402267769634]
Gen-NeRFは、一般化可能なNeRFアクセラレーションに特化したアルゴリズムハードウェアの共同設計フレームワークである。
アルゴリズム側では、Gen-NeRFは粗いthen-focusサンプリング戦略を統合する。
ハードウェア面では、Gen-NeRFはデータ再利用の機会を最大化するためのアクセラレーターマイクロアーキテクチャを強調している。
論文 参考訳(メタデータ) (2023-04-24T06:22:06Z) - Is Attention All NeRF Needs? [103.51023982774599]
Generalizable NeRF Transformer (GNT) は、ソースビューから高速にNeRF(Neural Radiance Fields)を効率的に再構築する、純粋で統一されたトランスフォーマーベースのアーキテクチャである。
GNTは、2つのトランスフォーマーベースのステージをカプセル化することにより、一般化可能なニューラルシーン表現とレンダリングを実現する。
論文 参考訳(メタデータ) (2022-07-27T05:09:54Z) - Global Filter Networks for Image Classification [90.81352483076323]
本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。
この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
論文 参考訳(メタデータ) (2021-07-01T17:58:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。