論文の概要: VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding

• arxiv url: http://arxiv.org/abs/2403.09530v1
• Date: Thu, 14 Mar 2024 16:13:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 19:47:59.953714
• Title: VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding
• Title（参考訳）: VisionGPT-3D:3次元視覚理解のための汎用マルチモーダルエージェント
• Authors: Chris Kelly, Luhui Hu, Jiayin Hu, Yu Tian, Deshun Yang, Bang Yang, Cindy Yang, Zihao Li, Zaoshan Huang, Yuexian Zou,
• Abstract要約: VisionGPT-3Dはマルチモーダル基盤モデルの強みを基盤として多目的なマルチモーダルフレームワークを提供する。 様々なSOTAビジョンモデルをシームレスに統合し、SOTAビジョンモデルの選択に自動化をもたらす。 2次元深度マップ解析に対応する適切な3次元メッシュ生成アルゴリズムを特定し、多様なマルチモーダル入力に基づいて最適な結果を生成する。
• 参考スコア（独自算出の注目度）: 47.58359136198136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evolution of text to visual components facilitates people's daily lives, such as generating image, videos from text and identifying the desired elements within the images. Computer vision models involving the multimodal abilities in the previous days are focused on image detection, classification based on well-defined objects. Large language models (LLMs) introduces the transformation from nature language to visual objects, which present the visual layout for text contexts. OpenAI GPT-4 has emerged as the pinnacle in LLMs, while the computer vision (CV) domain boasts a plethora of state-of-the-art (SOTA) models and algorithms to convert 2D images to their 3D representations. However, the mismatching between the algorithms with the problem could lead to undesired results. In response to this challenge, we propose an unified VisionGPT-3D framework to consolidate the state-of-the-art vision models, thereby facilitating the development of vision-oriented AI. VisionGPT-3D provides a versatile multimodal framework building upon the strengths of multimodal foundation models. It seamlessly integrates various SOTA vision models and brings the automation in the selection of SOTA vision models, identifies the suitable 3D mesh creation algorithms corresponding to 2D depth maps analysis, generates optimal results based on diverse multimodal inputs such as text prompts. Keywords: VisionGPT-3D, 3D vision understanding, Multimodal agent
• Abstract（参考訳）: テキストから視覚コンポーネントへの進化は、画像の生成、テキストからのビデオ、画像内の望ましい要素の特定など、人々の日常生活を促進する。 前時代のマルチモーダル能力を含むコンピュータビジョンモデルは、明確に定義されたオブジェクトに基づいた画像検出、分類に重点を置いている。 大規模言語モデル(LLM)は、自然言語から視覚オブジェクトへの変換を導入し、テキストコンテキストの視覚的レイアウトを提示する。 OpenAI GPT-4はLLMのピンナクルとして登場し、コンピュータビジョン(CV)ドメインは2D画像をその3D表現に変換するための多くの最先端(SOTA)モデルとアルゴリズムを誇っている。 しかし、アルゴリズムと問題とのミスマッチは、望ましくない結果をもたらす可能性がある。 この課題に対応するために、我々は最先端のビジョンモデルを統合するための統合されたVisionGPT-3Dフレームワークを提案し、それによってビジョン指向AIの開発が容易になる。 VisionGPT-3Dはマルチモーダル基盤モデルの強みを基盤として多目的なマルチモーダルフレームワークを提供する。 様々なSOTAビジョンモデルをシームレスに統合し、SOTAビジョンモデルの選択を自動化し、2次元深度マップ解析に対応する適切な3次元メッシュ生成アルゴリズムを特定し、テキストプロンプトのような多様なマルチモーダル入力に基づいて最適な結果を生成する。 キーワード: VisionGPT-3D, 3次元視覚理解, マルチモーダルエージェント

関連論文リスト

• VisionGPT: Vision-Language Understanding Agent Using Generalized Multimodal Framework [47.58359136198136]
  我々は、最新技術基盤モデルの統合と自動化を行うためにVisionGPTを導入する。 VisionGPTは一般化されたマルチモーダルフレームワーク上に構築されており、3つの重要な特徴を区別している。 本稿では,ビジョンGPTのアーキテクチャと能力について概説し,コンピュータビジョンの分野に革命をもたらす可能性を示す。
  論文  参考訳（メタデータ） (2024-03-14T01:39:40Z)
• InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks [92.03764152132315]
  我々は、視覚基盤モデルを60億のパラメータにスケールアップする大規模視覚言語基盤モデル(InternVL)を設計する。 このモデルは、32の汎用視覚言語ベンチマークにおいて、最先端のパフォーマンスを広く適用し、達成することができる。 強力な視覚能力を備え、ViT-22Bの代替となる。
  論文  参考訳（メタデータ） (2023-12-21T18:59:31Z)
• JM3D & JM3D-LLM: Elevating 3D Understanding with Joint Multi-modal Cues [68.76032126906743]
  私たちは、ポイントクラウド、テキスト、イメージを統合する包括的なアプローチであるJM3Dを紹介します。 SMO(Structured Multimodal Organizer)は、複数のビューと階層的なテキストによる視覚言語表現の強化である。 我々の高度なモデルであるJM3D-LLMは、効率的な微調整により、大規模言語モデルと3D表現を結合する。
  論文  参考訳（メタデータ） (2023-10-14T06:13:20Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• Beyond First Impressions: Integrating Joint Multi-modal Cues for Comprehensive 3D Representation [72.94143731623117]
  既存の方法は、単に3D表現を単一ビューの2D画像と粗い親カテゴリテキストに整列させる。 十分でないシナジーは、堅牢な3次元表現は共同視覚言語空間と一致すべきという考えを無視している。 我々は,JM3Dと呼ばれる多視点共同モダリティモデリング手法を提案し,点雲,テキスト,画像の統一表現を求める。
  論文  参考訳（メタデータ） (2023-08-06T01:11:40Z)
• Learning Ego 3D Representation as Ray Tracing [42.400505280851114]
  我々は、制約のないカメラビューからエゴ3D表現学習のための新しいエンドツーエンドアーキテクチャを提案する。 レイトレーシングの原理にインスパイアされた我々は、学習可能なエゴ3D表現として「虚視」の偏極格子を設計する。 我々のモデルはすべての最先端の代替品を著しく上回ります。
  論文  参考訳（メタデータ） (2022-06-08T17:55:50Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。