論文の概要: PixFoundation: Are We Heading in the Right Direction with Pixel-level Vision Foundation Models?

• arxiv url: http://arxiv.org/abs/2502.04192v2
• Date: Sun, 23 Feb 2025 11:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:47:34.379018
• Title: PixFoundation: Are We Heading in the Right Direction with Pixel-level Vision Foundation Models?
• Title（参考訳）: PixFoundation: 私たちはPixelレベルのビジョンファウンデーションモデルで正しい方向に向かっていますか?
• Authors: Mennatullah Siam,
• Abstract要約: 画素レベルのMLLMの現在の傾向は、大規模ラベル付きデータに基づいて画素レベルの接地監督を訓練することである。 近年の視覚中心のベンチマークで評価すると,このようなMLLMは視覚的質問応答の弱い能力を示す。 我々は, PixFoundation と呼ばれる任意の MLLM に接続可能な接地情報を抽出するために, 単純なベースラインを提案する。
• 参考スコア（独自算出の注目度）: 3.707598923599952
• License:
• Abstract: Multiple works have emerged to push the boundaries on multi-modal large language models (MLLMs) towards pixel-level understanding. Such approaches have shown strong performance on benchmarks for referring expression segmentation and grounded conversation generation. The current trend in pixel-level MLLMs is to train with pixel-level grounding supervision on large-scale labelled data. However, we show that such MLLMs when evaluated on recent challenging vision centric benchmarks, exhibit a weak ability in visual question answering. Surprisingly, some of these methods even downgrade the grounding ability of MLLMs that were never trained with such supervision. In this work, we propose two novel challenging benchmarks and show that MLLMs without pixel-level grounding supervision can outperform the state of the art in such tasks when evaluating both the pixel-level grounding and visual question answering. We propose simple baselines to extract the grounding information that can be plugged into any MLLM, which we call as PixFoundation. More importantly, we study the research question of "When does grounding emerge in MLLMs that are not trained with pixel-level grounding supervision?" We show that grounding can coincide with object parts or location/appearance information. Code repository is at https://github.com/MSiam/PixFoundation/.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)の境界をピクセルレベルの理解へと押し上げるために、複数の作業が登場した。 このような手法は,表現セグメンテーションと接地会話生成のためのベンチマークにおいて高い性能を示す。 画素レベルのMLLMの現在の傾向は、大規模ラベル付きデータに基づいて画素レベルの接地監督を訓練することである。 しかし、近年の難解な視覚中心のベンチマークで評価すると、このようなMLLMは視覚的質問応答の弱い能力を示す。 驚くべきことに、これらの手法のいくつかは、そのような監督で訓練されたことのないMLLMの接地能力を低下させるものさえあった。 本研究では,画素レベルの接地監督のないMLLMが,画素レベルの接地と視覚的問合せの両方を評価する場合に,そのようなタスクの最先端性を上回ることを示す。 我々は, PixFoundation と呼ばれる任意の MLLM に接続可能な接地情報を抽出するために, 単純なベースラインを提案する。 さらに、我々は「画素レベルの接地監督の訓練を受けていないMLLMにおいて、接地はいつ出現するのか?」という研究課題について研究する。 グラウンド化は対象部分や位置・外観情報と一致する可能性があることを示す。 コードリポジトリはhttps://github.com/MSiam/PixFoundation/にある。

関連論文リスト

• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• Learning to Ground VLMs without Forgetting [54.033346088090674]
  我々は、既存の画像や言語理解スキルを忘れずに、事前訓練されたビジュアル言語モデルに視覚的接地能力を持たせるフレームワークであるLynXを紹介する。 モデルを効果的に訓練するために、私たちはSCouTと呼ばれる高品質な合成データセットを生成します。 我々はLynXを複数のオブジェクト検出および視覚的グラウンド化データセット上で評価し、オブジェクト検出、ゼロショットローカライゼーション、グラウンドド推論において強い性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T13:35:47Z)
• Emerging Pixel Grounding in Large Multimodal Models Without Grounding Supervision [29.004844323516412]
  現在の大規模マルチモーダルモデル(LMM)は、言語コンポーネントと視覚的エンティティを関連付ける必要があるため、基盤化の課題に直面している。 グラウンド化能力は、明示的なグラウンド化の監督なしに訓練されたLMMに現われることが判明した。 拡散型ビジュアルエンコーダを用いたLMMであるDIFFLMMを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:59:55Z)
• Can Large Language Models Understand Symbolic Graphics Programs? [136.5639211254501]
  シンボリックグラフィックスプログラムはコンピュータグラフィックスで人気がある。 シンボルグラフィックプログラムの意味的視覚的理解のためのベンチマークを作成する。 LLMの推理性能は概して優れていた。
  論文  参考訳（メタデータ） (2024-08-15T17:59:57Z)
• OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding [112.87441334765693]
  OMG-LLaVAは、強力なピクセルレベルの視覚理解と推論能力を組み合わせた新しいフレームワークである。 フレキシブルなユーザインタラクションのために、さまざまな視覚的およびテキストプロンプトを受け入れることができる。 OMG-LLaVAは1つのモデルで画像レベル、オブジェクトレベル、ピクセルレベルの推論と理解を実現する。
  論文  参考訳（メタデータ） (2024-06-27T17:59:01Z)
• Probing Multimodal Large Language Models for Global and Local Semantic Representations [57.25949445963422]
  マルチモーダル大言語モデルのどの層がグローバルな画像情報に最も力を注いでいるかを検討する。 本研究では,モデルの中間層が,よりグローバルな意味情報を符号化できることを見出した。 最上位のレイヤが過度にローカル情報に集中していることが分かり、グローバル情報をエンコードする能力の低下につながります。
  論文  参考訳（メタデータ） (2024-02-27T08:27:15Z)
• Q-Bench+: A Benchmark for Multi-modal Foundation Models on Low-level Vision from Single Images to Pairs [71.07108539262721]
  低レベルの視覚に関連する人間の言語応答をエミュレートするためのベンチマーク設定を設計する。 我々は,MLLMの低レベルの認識関連質問応答と記述評価を,単一画像から画像ペアへ拡張する。 複数のMLLMが単一の画像に対して十分な低レベルの視覚能力を持つことを示したが、GPT-4Vのみが人間よりも高い精度で比較できる。
  論文  参考訳（メタデータ） (2024-02-11T06:44:11Z)
• LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent [23.134180979449823]
  3Dビジュアルグラウンドティングは、家庭用ロボットにとって重要なスキルであり、その環境に基づいて、オブジェクトをナビゲートし、操作し、質問に答えることを可能にする。 LLM-Grounderは,LLM(Large Language Model)をベースとした新しいゼロショット・オープンボキャブラリである。 以上の結果から,LLMは,特に複雑な言語クエリにおいて,グラウンド化能力を大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2023-09-21T17:59:45Z)
• Leveraging Large Language Models for Scalable Vector Graphics-Driven Image Understanding [46.042197741423365]
  大規模言語モデル(LLM)は、自然言語理解において大きな進歩を遂げた。 本研究は,LLMが画像の理解も可能かどうかを考察する。
  論文  参考訳（メタデータ） (2023-06-09T17:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。