論文の概要: Enhancing NeRF akin to Enhancing LLMs: Generalizable NeRF Transformer
with Mixture-of-View-Experts
- arxiv url: http://arxiv.org/abs/2308.11793v1
- Date: Tue, 22 Aug 2023 21:18:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 16:37:07.038276
- Title: Enhancing NeRF akin to Enhancing LLMs: Generalizable NeRF Transformer
with Mixture-of-View-Experts
- Title（参考訳）: LLMの強化に類似したNeRFの強化:視界混合型一般化可能なNeRF変換器
- Authors: Wenyan Cong, Hanxue Liang, Peihao Wang, Zhiwen Fan, Tianlong Chen,
Mukund Varma, Yi Wang, Zhangyang Wang
- Abstract要約: クロスシーンの一般化可能なNeRFモデルは、NeRFフィールドの新たなスポットライトとなっている。
我々は、大規模言語モデルから強力なMixture-of-Experts(MoE)のアイデアを"神経化"アーキテクチャにブリッジする。
提案手法は,GNT-MOVE (Mixture-of-View-Experts) とよばれるモデルで,未知のシーンに移動する際の最先端の結果を実験的に示す。
- 参考スコア（独自算出の注目度）: 88.23732496104667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-scene generalizable NeRF models, which can directly synthesize novel
views of unseen scenes, have become a new spotlight of the NeRF field. Several
existing attempts rely on increasingly end-to-end "neuralized" architectures,
i.e., replacing scene representation and/or rendering modules with performant
neural networks such as transformers, and turning novel view synthesis into a
feed-forward inference pipeline. While those feedforward "neuralized"
architectures still do not fit diverse scenes well out of the box, we propose
to bridge them with the powerful Mixture-of-Experts (MoE) idea from large
language models (LLMs), which has demonstrated superior generalization ability
by balancing between larger overall model capacity and flexible per-instance
specialization. Starting from a recent generalizable NeRF architecture called
GNT, we first demonstrate that MoE can be neatly plugged in to enhance the
model. We further customize a shared permanent expert and a geometry-aware
consistency loss to enforce cross-scene consistency and spatial smoothness
respectively, which are essential for generalizable view synthesis. Our
proposed model, dubbed GNT with Mixture-of-View-Experts (GNT-MOVE), has
experimentally shown state-of-the-art results when transferring to unseen
scenes, indicating remarkably better cross-scene generalization in both
zero-shot and few-shot settings. Our codes are available at
https://github.com/VITA-Group/GNT-MOVE.
- Abstract（参考訳）: 見えないシーンの新たなビューを直接合成できるクロスシーン一般化可能なNeRFモデルは、NeRFフィールドの新たなスポットライトとなっている。
いくつかの既存の試みは、シーン表現やレンダリングモジュールをトランスフォーマーのような高性能ニューラルネットワークに置き換え、新しいビュー合成をフィードフォワード推論パイプラインに変換するなど、ますますエンドツーエンドの"ニューラル化"アーキテクチャに依存している。
これらのフィードフォワードの"神経化"アーキテクチャは、まだ多様なシーンに適していないが、大規模言語モデル(LLM)からの強力なMixture-of-Experts(MoE)のアイデアでそれらを橋渡しすることを提案し、より大規模なモデルキャパシティと柔軟なインスタンスごとの特殊化のバランスをとることで、より優れた一般化能力を示す。
GNTと呼ばれる最近の一般化可能なNeRFアーキテクチャから始め、まずモデルを強化するためにMoEをきちんと接続できることを実証する。
さらに,多面的一貫性と空間的滑らかさをそれぞれ適用するために,共有された恒常的専門家と幾何学的整合性損失をカスタマイズする。
gnt with mixed-of-view-experts (gnt-move) と名づけたこのモデルでは,未発見のシーンに転送する時の最先端の結果が実験的に示された。
私たちのコードはhttps://github.com/VITA-Group/GNT-MOVE.comで公開されています。
関連論文リスト
- Novel View Synthesis with Pixel-Space Diffusion Models [4.844800099745365]
新規ビュー合成(NVS)に遺伝子モデルがますます採用されている
画素空間における終端NVSに対して,現代的な拡散モデルアーキテクチャを適用した。
単視点データセットを利用した新しいNVSトレーニングスキームを導入し,その相対的多元性に着目した。
論文 参考訳（メタデータ） (2024-11-12T12:58:33Z) - On the Adversarial Transferability of Generalized "Skip Connections" [83.71752155227888]
スキップ接続は、より深く、より強力な現代のディープモデルにとって重要な要素である。
バックプロパゲーションにおいて、バックプロパゲーション中に、スキップ接続からより多くの勾配を用いることで、高い転送性を持つ逆例を作成できることが分かる。
本稿では,ResNet,Transformer,Inceptions,Neural Architecture Search,Large Language Modelsなど,さまざまなモデルに対する包括的なトランスファー攻撃を行う。
論文 参考訳（メタデータ） (2024-10-11T16:17:47Z) - InterNeRF: Scaling Radiance Fields via Parameter Interpolation [36.014610797521605]
モデルパラメータのサブセットを用いてターゲットビューをレンダリングする新しいアーキテクチャであるInterNeRFを提案する。
標準ベンチマークでは競争力を維持しながら,マルチルームシーンにおいて大幅な改善が示された。
論文 参考訳（メタデータ） (2024-06-17T16:55:22Z) - GenS: Generalizable Neural Surface Reconstruction from Multi-View Images [20.184657468900852]
GenSは、エンドツーエンドの一般化可能なニューラルサーフェス再構成モデルである。
我々の表現はより強力であり、グローバルな滑らかさを維持しながら高周波の詳細を回復することができる。
人気のあるベンチマーク実験により、我々のモデルは新たなシーンにうまく一般化できることが示された。
論文 参考訳（メタデータ） (2024-06-04T17:13:10Z) - GiT: Towards Generalist Vision Transformer through Universal Language Interface [94.33443158125186]
本稿では,バニラ ViT のみを用いて,様々な視覚タスクに同時に適用可能な,シンプルかつ効果的な GiT フレームワークを提案する。
GiTはマルチタスクのビジュアルモデルで、タスク固有の微調整なしで5つの代表的なベンチマークで共同でトレーニングされている。
論文 参考訳（メタデータ） (2024-03-14T13:47:41Z) - MuRF: Multi-Baseline Radiance Fields [117.55811938988256]
スパースビュー合成におけるフィードフォワードアプローチであるmulti-Baseline Radiance Fields(MuRF)を提案する。
MuRFは、複数の異なるベースライン設定で最先端のパフォーマンスを達成する。
また、Mip-NeRF 360データセット上でゼロショットの一般化能力を示す。
論文 参考訳（メタデータ） (2023-12-07T18:59:56Z) - Mask-Based Modeling for Neural Radiance Fields [20.728248301818912]
本研究では,マスクベースモデリングにより3次元暗黙表現学習を大幅に改善できることを明らかにする。
MRVM-NeRFは,各光線に沿った部分的マスキング特徴から,シーンの完全な表現を予測するための自己教師付き事前学習対象である。
この事前学習目標により、MRVM-NeRFは、幾何学的先行として異なる点とビュー間の相関をよりよく利用することができる。
論文 参考訳（メタデータ） (2023-04-11T04:12:31Z) - Is Attention All NeRF Needs? [103.51023982774599]
Generalizable NeRF Transformer (GNT) は、ソースビューから高速にNeRF(Neural Radiance Fields)を効率的に再構築する、純粋で統一されたトランスフォーマーベースのアーキテクチャである。
GNTは、2つのトランスフォーマーベースのステージをカプセル化することにより、一般化可能なニューラルシーン表現とレンダリングを実現する。
論文 参考訳（メタデータ） (2022-07-27T05:09:54Z) - Global Filter Networks for Image Classification [90.81352483076323]
本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。
この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
論文 参考訳（メタデータ） (2021-07-01T17:58:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。