論文の概要: Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images

• arxiv url: http://arxiv.org/abs/2504.08727v1
• Date: Fri, 11 Apr 2025 17:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:20:36.115981
• Title: Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images
• Title（参考訳）: ビジュアルクロニクル:多モードLCMを用いて画像の大量収集を分析する
• Authors: Boyang Deng, Songyou Peng, Kyle Genova, Gordon Wetzstein, Noah Snavely, Leonidas Guibas, Thomas Funkhouser,
• Abstract要約: 我々は,Multimodal LLMを用いて,数千万枚の画像からなる大規模データベースを解析するシステムを提案する。 我々は,一定期間にわたって都市を横断する頻繁な共起的変化(トリエント)を捉えることを目的としている。 ベースラインをはるかに上回り、大都市で撮影された画像から興味深い傾向を見出すことができる。
• 参考スコア（独自算出の注目度）: 58.38037252899024
• License:
• Abstract: We present a system using Multimodal LLMs (MLLMs) to analyze a large database with tens of millions of images captured at different times, with the aim of discovering patterns in temporal changes. Specifically, we aim to capture frequent co-occurring changes ("trends") across a city over a certain period. Unlike previous visual analyses, our analysis answers open-ended queries (e.g., "what are the frequent types of changes in the city?") without any predetermined target subjects or training labels. These properties cast prior learning-based or unsupervised visual analysis tools unsuitable. We identify MLLMs as a novel tool for their open-ended semantic understanding capabilities. Yet, our datasets are four orders of magnitude too large for an MLLM to ingest as context. So we introduce a bottom-up procedure that decomposes the massive visual analysis problem into more tractable sub-problems. We carefully design MLLM-based solutions to each sub-problem. During experiments and ablation studies with our system, we find it significantly outperforms baselines and is able to discover interesting trends from images captured in large cities (e.g., "addition of outdoor dining,", "overpass was painted blue," etc.). See more results and interactive demos at https://boyangdeng.com/visual-chronicles.
• Abstract（参考訳）: 時間変化のパターンを発見することを目的として,Multimodal LLM(MLLM)を用いて,数千万の画像を異なるタイミングで取得した大規模データベースを解析するシステムを提案する。 具体的には、一定期間にわたって、都市全体にわたる頻繁な共起的変化(トリエント)を捉えることを目的としている。 従来の視覚分析と異なり, 対象対象やトレーニングラベルを含まないオープンエンドクエリ(例えば, 「都市の頻繁な変化の種類は何か?」など)に回答する。 これらの特性は、事前学習に基づく、あるいは教師なしの視覚分析ツールに適さないものとなった。 我々はMLLMをオープンな意味理解能力のための新しいツールとして認識する。 しかし、我々のデータセットは、MLLMがコンテキストとして取り込むには、桁違いに大きすぎる。 そこで本稿では,大規模視覚解析問題をよりトラクタブルなサブプロブレムに分解するボトムアップ手法を提案する。 各サブプロブレムに対してMLLMベースのソリューションを慎重に設計する。 実験およびアブレーション研究において,大都市で撮影された画像(例えば,屋外ダイニングの追加,「オーバーパスが青く塗られた」など)から興味深い傾向を見出すことができた。 さらなる結果とインタラクティブなデモはhttps://boyangdeng.com/visual-chronicles.comにある。

関連論文リスト

• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• Can Multimodal LLMs do Visual Temporal Understanding and Reasoning? The answer is No! [22.75945626401567]
  本稿では,TemporalVQAという評価ベンチマークを提案する。 第1部では、時間的に連続するビデオフレームを分析してイベントのシーケンスを決定するためにMLLMが必要である。 第2部では、複数選択の質問としてフレーム化された時間差のある画像ペアを提示し、MLLMに秒から数年のオプションで画像間のタイムラプスを見積もる。 GPT-4o や Gemini-1.5-Pro などのモデルを含む先進MLLM の評価は,重要な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-01-18T06:41:48Z)
• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• Semantic Alignment for Multimodal Large Language Models [72.10272479476161]
  多モード大言語モデル(SAM)のセマンティックアライメントについて紹介する。 画像間の双方向的意味指導を視覚的・視覚的抽出プロセスに組み込むことにより,コヒーレント解析のためのリンク情報の保存性を高めることを目的とする。 画像間の双方向的意味指導を視覚的・視覚的抽出プロセスに組み込むことにより,コヒーレント解析のためのリンク情報の保存性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-08-23T06:48:46Z)
• Unveiling the Ignorance of MLLMs: Seeing Clearly, Answering Incorrectly [44.31985939516153]
  MLLM(Multimodal Large Language Models)は、マルチモーダルタスクにおいて顕著な性能を示す。 MLLMは、視覚的内容を理解した場合でも、誤った回答をしばしば生成することを示す。 テキストと視覚的プロンプトを精細化し,デコード中の視覚的コンテンツに焦点を当てることを提案する。
  論文  参考訳（メタデータ） (2024-06-15T13:58:26Z)
• Eyeballing Combinatorial Problems: A Case Study of Using Multimodal Large Language Models to Solve Traveling Salesman Problems [6.157421830538752]
  MLLM(Multimodal Large Language Models)は、多言語多言語モデル(MLLM)である。 本稿では,旅行セールスマン問題に対する「眼球」解に対するMLLMの視覚機能の利用について検討する。
  論文  参考訳（メタデータ） (2024-06-11T00:41:08Z)
• The Instinctive Bias: Spurious Images lead to Illusion in MLLMs [34.91795817316696]
  MLLMは、非常に関連性が高いが、応答に矛盾する画像で構成されている。 本稿では,スプリアス画像の視覚錯視レベルを評価する最初のベンチマークである相関QAを提案する。 我々は9つの主流MLLMについて徹底的な分析を行い、これらの本能バイアスが様々な程度に普遍的に悩まされていることを指摘した。
  論文  参考訳（メタデータ） (2024-02-06T06:48:46Z)
• Mementos: A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences [80.54979242912944]
  本稿では,MLLMの逐次画像推論能力を評価するためのベンチマークであるMementosを紹介する。 MLLMは与えられた画像列の動的情報を正確に記述するのに苦労しており、しばしば幻覚/誤表現につながる。
  論文  参考訳（メタデータ） (2024-01-19T07:10:13Z)
• DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language Models (Exemplified as A Video Agent) [73.10899129264375]
  本稿では,LLMによる動的シーン理解のための包括的かつ概念的にエレガントなシステムであるドラモンGPTについて検討する。 質問/タスクのあるビデオが与えられた場合、DoraemonGPTは入力されたビデオをタスク関連の属性を格納するシンボリックメモリに変換することから始める。 我々は,DoraemonGPTの有効性を,3つのベンチマークといくつかのアプリ内シナリオで広範囲に評価した。
  論文  参考訳（メタデータ） (2024-01-16T14:33:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。