論文の概要: Examining the Commitments and Difficulties Inherent in Multimodal Foundation Models for Street View Imagery

• arxiv url: http://arxiv.org/abs/2408.12821v1
• Date: Fri, 23 Aug 2024 03:45:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 16:09:18.566305
• Title: Examining the Commitments and Difficulties Inherent in Multimodal Foundation Models for Street View Imagery
• Title（参考訳）: ストリートビュー画像のマルチモーダル基礎モデルにおけるコミットメントと難易度の検討
• Authors: Zhenyuan Yang, Xuhui Lin, Qinyi He, Ziye Huang, Zhengliang Liu, Hanqi Jiang, Peng Shu, Zihao Wu, Yiwei Li, Stephen Law, Gengchen Mai, Tianming Liu, Tao Yang,
• Abstract要約: 本稿では,ストリートビュー画像,ビルディング環境,インテリアにおけるChatGPT-4VとGemini Proの機能について検討する。 その結果,長さ測定,スタイル分析,質問応答,基本画像理解の習熟度が明らかになった。 全体として、この発見は基礎的なマルチモーダルインテリジェンスを示し、先進的な学際的応用を促進するためのFMの可能性を強調している。
• 参考スコア（独自算出の注目度）: 25.420749355424377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of Large Language Models (LLMs) and multimodal foundation models (FMs) has generated heightened interest in their applications that integrate vision and language. This paper investigates the capabilities of ChatGPT-4V and Gemini Pro for Street View Imagery, Built Environment, and Interior by evaluating their performance across various tasks. The assessments include street furniture identification, pedestrian and car counts, and road width measurement in Street View Imagery; building function classification, building age analysis, building height analysis, and building structure classification in the Built Environment; and interior room classification, interior design style analysis, interior furniture counts, and interior length measurement in Interior. The results reveal proficiency in length measurement, style analysis, question answering, and basic image understanding, but highlight limitations in detailed recognition and counting tasks. While zero-shot learning shows potential, performance varies depending on the problem domains and image complexities. This study provides new insights into the strengths and weaknesses of multimodal foundation models for practical challenges in Street View Imagery, Built Environment, and Interior. Overall, the findings demonstrate foundational multimodal intelligence, emphasizing the potential of FMs to drive forward interdisciplinary applications at the intersection of computer vision and language.
• Abstract（参考訳）: 大規模言語モデル(LLM)とマルチモーダル基礎モデル(FM)の出現は、視覚と言語を統合するアプリケーションへの関心を高めている。 本稿では,ストリートビュー画像,構築環境,インテリアにおけるChatGPT-4VとGemini Proの機能について,様々なタスクにおける性能評価を行った。 この評価には、ストリートビュー画像における通りの家具の識別、歩行者と自動車の数、道路幅の測定、ビル機能分類、建築年齢分析、ビルの高さ分析、ビル構造分類、インテリアルーム分類、インテリアデザイン解析、インテリア家具数、インテリアインテリア長さ測定が含まれる。 その結果, 長さ測定, スタイル解析, 質問応答, 基本画像理解の習熟度が明らかとなった。 ゼロショット学習は潜在的な可能性を示すが、性能は問題領域や画像の複雑さによって異なる。 本研究は,ストリートビューイメージ,ビルディング環境,インテリアにおける実践的課題に対するマルチモーダル基礎モデルの強みと弱みに関する新たな知見を提供する。 全体としては、基礎的なマルチモーダルインテリジェンスを示し、コンピュータビジョンと言語が交差する分野間応用を促進するためのFMの可能性を強調している。

関連論文リスト

• GalleryGPT: Analyzing Paintings with Large Multimodal Models [64.98398357569765]
  美術品の分析は、個人の審美性を豊かにし、批判的思考能力を促進することができる芸術鑑賞のための重要かつ基本的な技術である。 アートワークを自動解析する以前の作業は、主に分類、検索、その他の単純なタスクに焦点を当てており、AIの目標とは程遠い。 LLaVAアーキテクチャに基づいて微調整されたGalleryGPTと呼ばれる,絵画解析のための優れた大規模マルチモーダルモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-01T11:52:56Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• ELEV-VISION-SAM: Integrated Vision Language and Foundation Model for Automated Estimation of Building Lowest Floor Elevation [1.2070884166650049]
  本研究では,セグメンテーション基礎モデルであるセグメンテーションモデルと視覚言語モデルを統合し,LFE推定のためのストリートビューイメージ上でテキストプロンプト画像セグメンテーションを行う。 提案手法は,ストリートビュー画像に正面扉が見えるほぼすべての特性に対して,LFE推定の可用性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-19T03:16:08Z)
• The Revolution of Multimodal Large Language Models: A Survey [46.84953515670248]
  MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティをシームレスに統合することができる。 本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
  論文  参考訳（メタデータ） (2024-02-19T19:01:01Z)
• On the Promises and Challenges of Multimodal Foundation Models for Geographical, Environmental, Agricultural, and Urban Planning Applications [38.416917485939486]
  本稿では,地理,環境科学,農業,都市計画の領域におけるGPT-4Vの能力について考察する。 データソースには、衛星画像、空中写真、地上画像、フィールド画像、パブリックデータセットが含まれる。 このモデルは,地理的局在化,地図からのテキストデータ抽出,リモートセンシング画像分類,視覚的質問応答,作物型識別,病気・害虫・雑草認識,鶏の行動分析,農業オブジェクトカウント,都市計画知識質問応答,計画生成など,一連のタスクに基づいて評価される。
  論文  参考訳（メタデータ） (2023-12-23T22:36:58Z)
• Lost in Translation: When GPT-4V(ision) Can't See Eye to Eye with Text. A Vision-Language-Consistency Analysis of VLLMs and Beyond [7.760124498553333]
  視覚言語モデルが連続的・独立的に視覚と言語タスクを実行するかを検討する。 マルチモーダル設定において、異なるモーダル間の能力格差を定量化する体系的枠組みを導入する。 本稿では,視覚関連課題に挑戦するタスクのパフォーマンスを効果的に向上する手法である"Vision Description Prompting"を紹介する。
  論文  参考訳（メタデータ） (2023-10-19T06:45:11Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Automatic Image Content Extraction: Operationalizing Machine Learning in Humanistic Photographic Studies of Large Visual Archives [81.88384269259706]
  本稿では,機械学習による大規模画像アーカイブの検索と解析のための自動画像コンテンツ抽出フレームワークを提案する。 提案する枠組みは、人文科学と社会科学のいくつかの分野に適用できる。
  論文  参考訳（メタデータ） (2022-04-05T12:19:24Z)
• Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types [50.1843146606122]
  現在の最新のコンピュータビジョンモデルでは、簡単な転送学習が一般的です。 転校学習に関するこれまでの体系的な研究は限られており、作業が期待される状況は十分に理解されていない。 本論文では,非常に異なる画像領域にまたがる転送学習の広範な実験的研究を行う。
  論文  参考訳（メタデータ） (2021-03-24T16:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。