論文の概要: Multi-task View Synthesis with Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2309.17450v1
• Date: Fri, 29 Sep 2023 17:58:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 12:14:00.042936
• Title: Multi-task View Synthesis with Neural Radiance Fields
• Title（参考訳）: ニューラルラジアンス場を用いたマルチタスクビュー合成
• Authors: Shuhong Zheng, Zhipeng Bao, Martial Hebert, Yu-Xiong Wang
• Abstract要約: MuvieNeRFはマルチタスクとクロスビューの両方の知識を組み込んで複数のシーン特性を同時に合成するフレームワークである。 以上の結果から, MuvieNeRFは様々なNeRFバックボーンに普遍的な適用性を示すことがわかった。
• 参考スコア（独自算出の注目度）: 43.88570079819157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task visual learning is a critical aspect of computer vision. Current research, however, predominantly concentrates on the multi-task dense prediction setting, which overlooks the intrinsic 3D world and its multi-view consistent structures, and lacks the capability for versatile imagination. In response to these limitations, we present a novel problem setting -- multi-task view synthesis (MTVS), which reinterprets multi-task prediction as a set of novel-view synthesis tasks for multiple scene properties, including RGB. To tackle the MTVS problem, we propose MuvieNeRF, a framework that incorporates both multi-task and cross-view knowledge to simultaneously synthesize multiple scene properties. MuvieNeRF integrates two key modules, the Cross-Task Attention (CTA) and Cross-View Attention (CVA) modules, enabling the efficient use of information across multiple views and tasks. Extensive evaluation on both synthetic and realistic benchmarks demonstrates that MuvieNeRF is capable of simultaneously synthesizing different scene properties with promising visual quality, even outperforming conventional discriminative models in various settings. Notably, we show that MuvieNeRF exhibits universal applicability across a range of NeRF backbones. Our code is available at https://github.com/zsh2000/MuvieNeRF.
• Abstract（参考訳）: マルチタスク視覚学習はコンピュータビジョンの重要な側面である。 しかし、近年の研究は、本質的な3次元世界とその多視点一貫した構造を見渡すマルチタスク密集予測設定に主に集中しており、多面的想像力に欠ける。 これらの制約に対応して,マルチタスク予測をrgbを含む複数のシーン特性の新規な合成タスクのセットとして再解釈する,マルチタスクビュー合成(mtvs)という,新たな問題設定を提案する。 MTVS問題に対処するために,マルチタスクとクロスビューの両方の知識を組み込んで複数のシーン特性を同時に合成するフレームワークであるMuvieNeRFを提案する。 muvienerfは、クロスタスクアテンション(cta)とクロスビューアテンション(cva)の2つのキーモジュールを統合し、複数のビューとタスクにわたる情報の効率的な利用を可能にする。 総合的および現実的なベンチマークにおいて、MuvieNeRFは様々なシーン特性と有望な視覚的品質を同時に合成できることを示した。 特に、MuvieNeRFは、様々なNeRFバックボーンに普遍的な適用性を示す。 私たちのコードはhttps://github.com/zsh2000/muvienerfで利用可能です。

関連論文リスト

• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks [89.24440488456405]
  VisionLLM v2は、エンドツーエンドの汎用マルチモーダル大モデル(MLLM)である。 単一のフレームワーク内で視覚的知覚、理解、生成を統一する。
  論文  参考訳（メタデータ） (2024-06-12T16:44:50Z)
• MuRF: Multi-Baseline Radiance Fields [117.55811938988256]
  スパースビュー合成におけるフィードフォワードアプローチであるmulti-Baseline Radiance Fields(MuRF)を提案する。 MuRFは、複数の異なるベースライン設定で最先端のパフォーマンスを達成する。 また、Mip-NeRF 360データセット上でゼロショットの一般化能力を示す。
  論文  参考訳（メタデータ） (2023-12-07T18:59:56Z)
• General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation [35.100738362291416]
  マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、補完的なデータソースを活用する。 汎用マルチモーダルネットワークの最近のトレンドは、最先端の性能を達成する大きな可能性を示している。 本稿では,3次元畳み込みを利用して重要なローカル情報をエンコードし,同時にモーダルな特徴を学習するUNet型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-07T04:58:34Z)
• InvPT++: Inverted Pyramid Multi-Task Transformer for Visual Scene Understanding [11.608682595506354]
  マルチタスクシーン理解は、複数のシーン理解タスクを1つの多目的モデルで同時に予測できるモデルを設計することを目的としている。 従来の研究は通常、より局所的な方法でマルチタスクの特徴を処理するため、空間的にグローバルな相互作用とクロスタスクの相互作用を効果的に学習することはできない。 異なるタスクの空間的特徴間の相互タスク相互作用をグローバルな文脈でモデル化できる逆ピラミッドマルチタスク変換器を提案する。
  論文  参考訳（メタデータ） (2023-06-08T00:28:22Z)
• DenseMTL: Cross-task Attention Mechanism for Dense Multi-task Learning [18.745373058797714]
  本稿では,相互に相互にタスクを交換するマルチタスク学習アーキテクチャを提案する。 我々は3つのマルチタスク・セットアップにまたがって広範な実験を行い、合成および実世界のベンチマークにおいて競合するベースラインと比較して、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2022-06-17T17:59:45Z)
• MulT: An End-to-End Multitask Learning Transformer [66.52419626048115]
  我々はMulTと呼ばれるエンドツーエンドのマルチタスク学習トランスフォーマフレームワークを提案し、複数のハイレベル視覚タスクを同時に学習する。 本フレームワークは,入力画像を共有表現にエンコードし,タスク固有のトランスフォーマーベースのデコーダヘッドを用いて各視覚タスクの予測を行う。
  論文  参考訳（メタデータ） (2022-05-17T13:03:18Z)
• Multilevel Hierarchical Network with Multiscale Sampling for Video Question Answering [16.449212284367366]
  ビデオQAのためのマルチスケールサンプリング機能を備えたMHN(Multilevel Hierarchical Network)を提案する。 MHNは、Recurrent Multimodal Interaction (RMI) と Parallel Visual Reasoning (PVR) の2つのモジュールからなる。 マルチスケールサンプリングにより、RMIは、各スケールにおける外見・動き情報の相互作用と質問埋め込みを反復して、マルチレベルな質問誘導視覚表現を構築する。 PVRは各レベルの視覚的手がかりを並列に推測し、関連するレベルの視覚情報に依存する可能性のある様々な質問タイプに適合する。
  論文  参考訳（メタデータ） (2022-05-09T06:28:56Z)
• Generative Modeling for Multi-task Visual Learning [40.96212750592383]
  様々な視覚的認知タスクにおいて有用な共有生成モデルを学ぶという,新しい問題を考える。 本稿では,識別型マルチタスクネットワークと生成ネットワークを結合して,汎用的なマルチタスク指向生成モデリングフレームワークを提案する。 我々のフレームワークは、最先端のマルチタスクアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-06-25T03:42:59Z)
• Self-Supervised MultiModal Versatile Networks [76.19886740072808]
  我々は、ビデオに自然に存在する3つのモダリティ(ビジュアル、オーディオ、言語ストリーム)を活用することで、自己スーパービジョンを用いて表現を学習する。 ビデオ, ビデオテキスト, 画像, 音声タスクに対して, ビデオデータの大規模な収集を訓練したネットワークを, どのように適用できるかを実証する。
  論文  参考訳（メタデータ） (2020-06-29T17:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。