論文の概要: ZoomEye: Enhancing Multimodal LLMs with Human-Like Zooming Capabilities through Tree-Based Image Exploration

• arxiv url: http://arxiv.org/abs/2411.16044v1
• Date: Mon, 25 Nov 2024 02:15:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:50.670361
• Title: ZoomEye: Enhancing Multimodal LLMs with Human-Like Zooming Capabilities through Tree-Based Image Exploration
• Title（参考訳）: ZoomEye: ツリーベース画像探索による人間ライクなズーム機能を備えたマルチモーダルLLMの実現
• Authors: Haozhan Shen, Kangjia Zhao, Tiancheng Zhao, Ruochen Xu, Zilun Zhang, Mingwei Zhu, Jianwei Yin,
• Abstract要約: Zoom Eyeはイメージをツリーとして概念化し、各子ノードは親ノードのズームしたサブパッチを表し、ルートは全体イメージを表す。 例えば,LLaVA-v1.5-7Bは$V*$ Benchで34.57%増加し,HR-Benchで17.88%上昇する)。
• 参考スコア（独自算出の注目度）: 33.675976247869016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An image, especially with high-resolution, typically consists of numerous visual elements, ranging from dominant large objects to fine-grained detailed objects. When perceiving such images, multimodal large language models~(MLLMs) face limitations due to the restricted input resolution of the pretrained vision encoder and the cluttered, dense context of the image, resulting in a focus on primary objects while easily overlooking detailed ones. In this paper, we propose Zoom Eye, a tree search algorithm designed to navigate the hierarchical and visual nature of images to capture relevant information. Zoom Eye conceptualizes an image as a tree, with each children node representing a zoomed sub-patch of the parent node and the root represents the overall image. Moreover, Zoom Eye is model-agnostic and training-free, so it enables any MLLMs to simulate human zooming actions by searching along the image tree from root to leaf nodes, seeking out pertinent information, and accurately responding to related queries. We experiment on a series of elaborate high-resolution benchmarks and the results demonstrate that Zoom Eye not only consistently improves the performance of a series base MLLMs with large margin~(e.g., LLaVA-v1.5-7B increases by 34.57\% on $V^*$ Bench and 17.88\% on HR-Bench), but also enables small 7B MLLMs to outperform strong large models such as GPT-4o. Our code is available at \href{https://github.com/om-ai-lab/ZoomEye}{https://github.com/om-ai-lab/ZoomEye}.
• Abstract（参考訳）: 画像は、特に高解像度のもので、典型的には、支配的な大物体から細かな細部まで、多くの視覚要素から構成される。 このような画像を認識すると、事前訓練された視覚エンコーダの入力解像度の制限と、画像の散らばった密集したコンテキストにより、マルチモーダルな大言語モデル~(MLLM)は制限に直面し、より詳細なものを見渡すことが容易となる。 本稿では,画像の階層的・視覚的な性質をナビゲートし,関連情報をキャプチャする木探索アルゴリズムZoom Eyeを提案する。 Zoom Eyeはイメージをツリーとして概念化し、各子ノードは親ノードのズームしたサブパッチを表し、ルートは全体イメージを表す。 さらに、Zoom Eyeはモデル非依存でトレーニング不要であるため、任意のMLLMは、ルートからリーフノードまでのイメージツリーを検索し、関連する情報を探し、関連するクエリに正確に応答することで、人間のズーム動作をシミュレートすることができる。 一連の高精細な高精細度ベンチマークを実験した結果,Zoom Eye は大きなマージン~(例えば LLaVA-v1.5-7B が$V^*$ Bench で 34.57 %,HR-Bench で 17.88 % の増加) を持つシリーズベースMLLM の性能を常に向上するだけでなく,GPT-4o などの強力なモデルよりも小さい 7B MLLM が優れていることを示した。 私たちのコードは \href{https://github.com/om-ai-lab/ZoomEye}{https://github.com/om-ai-lab/ZoomEye} で利用可能です。

関連論文リスト

• UniPixel: Unified Object Referring and Segmentation for Pixel-Level Visual Reasoning [83.68366772745689]
  視覚的なプロンプト入力を柔軟に解釈し,マスクによる応答を生成できる大規模マルチモーダルモデルUniPixelを提案する。 具体的には、UniPixelは、要求に応じて視覚的なプロンプトを処理し、関連するマスクを生成し、推論中にこれらの中間ポインタに対してその後の推論条件を実行する。 提案手法の有効性は,画素レベルの参照/セグメンテーションや画像・ビデオにおけるオブジェクト中心の理解など,多種多様なタスクを対象とした10のベンチマークで検証されている。
  論文  参考訳（メタデータ） (2025-09-22T17:59:40Z)
• Zoom-Refine: Boosting High-Resolution Multimodal Understanding via Localized Zoom and Self-Refinement [24.261439217182613]
  MLLM(Multimodal Large Language Models)は高解像度画像の正確な解釈に苦慮することが多い。 この問題に対処するためのMLLM機能を強化した新しいトレーニングフリーのZoom-Refineを導入する。 本手法は, 空間的局所化, 文脈的推論, 比較分析にMLLM固有の能力を活用し, 追加の訓練や外部の専門家を必要とせずに活用する。
  論文  参考訳（メタデータ） (2025-06-02T13:32:35Z)
• When Large Vision-Language Model Meets Large Remote Sensing Imagery: Coarse-to-Fine Text-Guided Token Pruning [31.696397337675847]
  LVLM(Large Vision-Language Models)は通常、画像処理に限定された事前定義されたグリッドを使用する。 動的画像ピラミッド(DIP)を統合したテキスト誘導型トークンプルーニング手法を提案する。 提案手法は,同一データを用いた4つのデータセットにおける既存の高分解能戦略よりも優れる。
  論文  参考訳（メタデータ） (2025-03-10T17:51:16Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• RSUniVLM: A Unified Vision Language Model for Remote Sensing via Granularity-oriented Mixture of Experts [17.76606110070648]
  複数の粒度にまたがる包括的視覚理解のための統一型エンドツーエンドRS VLMであるRSUniVLMを提案する。 RSUniVLMは、変更検出や変更キャプションのインスタンスを含む、マルチイメージ解析において効果的に機能する。 また、RSと一般ドメインの両方の既存のデータセットに基づいて、大規模なRS命令追従データセットを構築した。
  論文  参考訳（メタデータ） (2024-12-07T15:11:21Z)
• Personalizing Multimodal Large Language Models for Image Captioning: An Experimental Analysis [44.008094698200026]
  本稿では,様々な画像記述ベンチマークにおいて,従来の画像キャプションネットワークに代えて,マルチモーダルLLMが性能を評価できるかどうかを検討する。 これらのモデルのゼロショット機能と、細調整による異なるセマンティックドメインへの適応性の両方について検討する。 以上の結果から,マルチモーダル LLM はゼロショット性能に優れる一方で,特定の領域を微調整し,その一般化能力を保ち続けることは依然として困難であることが示唆された。
  論文  参考訳（メタデータ） (2024-12-04T19:01:06Z)
• ZoomLDM: Latent Diffusion Model for multi-scale image generation [57.639937071834986]
  複数のスケールで画像を生成するための拡散モデルZoomLDMを提案する。 我々のアプローチの中心は、自己教師あり学習(SSL)埋め込みを利用した、新たな拡大対応条件付け機構である。 ZoomLDMは、すべてのスケールにわたる最先端の画像生成品質を実現し、大きな画像全体のサムネイルを生成するデータスカース設定に優れています。
  論文  参考訳（メタデータ） (2024-11-25T22:39:22Z)
• LFSamba: Marry SAM with Mamba for Light Field Salient Object Detection [9.787855464038673]
  光界カメラは、リッチな空間幾何学情報を含むキャプチャされた多焦点画像を用いて3Dシーンを再構成することができる。 本研究では,LFSambaと呼ばれる多焦点光場画像に対する最先端のサルエント物体検出モデルを提案する。
  論文  参考訳（メタデータ） (2024-11-11T01:37:32Z)
• FullAnno: A Data Engine for Enhancing Image Comprehension of MLLMs [58.95386070800286]
  FullAnnoは、大規模で高品質できめ細かい画像アノテーションを生成するデータエンジンである。 我々はFullAnnoシステムを用いてCOCOデータセットとVisual Genomeデータセットを再注釈した。 実験により、再生したアノテーションは、複数のベンチマークでLLaVA-v1.5の能力を著しく向上できることが示された。
  論文  参考訳（メタデータ） (2024-09-20T14:33:17Z)
• AVG-LLaVA: A Large Multimodal Model with Adaptive Visual Granularity [85.44800864697464]
  入力画像と命令に基づいて適切な視覚的粒度を適応的に選択できるLMMであるAVG-LLaVAを導入する。 AVG-LLaVAは11のベンチマークで優れた性能を示し、視覚トークンの数を大幅に削減し、推論を高速化する。
  論文  参考訳（メタデータ） (2024-09-20T10:50:21Z)
• AdaptVision: Dynamic Input Scaling in MLLMs for Versatile Scene Understanding [96.01726275876548]
  本稿では,様々な解像度の入力画像を動的に処理するマルチモーダルな大規模言語モデルAdaptVisionを提案する。 画像のサイズやアスペクト比に応じて視覚トークンの数を調整する動的画像分割モジュールを考案する。 私たちのモデルは、解像度1008倍の1008ドルまでの画像を処理できます。
  論文  参考訳（メタデータ） (2024-08-30T03:16:49Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
  我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。 以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。 このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T08:21:12Z)
• Q-Bench+: A Benchmark for Multi-modal Foundation Models on Low-level Vision from Single Images to Pairs [71.07108539262721]
  低レベルの視覚に関連する人間の言語応答をエミュレートするためのベンチマーク設定を設計する。 我々は,MLLMの低レベルの認識関連質問応答と記述評価を,単一画像から画像ペアへ拡張する。 複数のMLLMが単一の画像に対して十分な低レベルの視覚能力を持つことを示したが、GPT-4Vのみが人間よりも高い精度で比較できる。
  論文  参考訳（メタデータ） (2024-02-11T06:44:11Z)
• InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks [92.03764152132315]
  我々は、視覚基盤モデルを60億のパラメータにスケールアップする大規模視覚言語基盤モデル(InternVL)を設計する。 このモデルは、32の汎用視覚言語ベンチマークにおいて、最先端のパフォーマンスを広く適用し、達成することができる。 強力な視覚能力を備え、ViT-22Bの代替となる。
  論文  参考訳（メタデータ） (2023-12-21T18:59:31Z)
• CtxMIM: Context-Enhanced Masked Image Modeling for Remote Sensing Image Understanding [38.53988682814626]
  リモートセンシング画像理解のためのコンテキスト強化マスク画像モデリング手法(CtxMIM)を提案する。 CtxMIMは、オリジナルのイメージパッチを再構成テンプレートとして定式化し、2セットのイメージパッチを操作するために、Siameseフレームワークを使用している。 シンプルでエレガントな設計により、CtxMIMは、大規模データセットでオブジェクトレベルまたはピクセルレベルの機能を学ぶための事前トレーニングモデルを奨励する。
  論文  参考訳（メタデータ） (2023-09-28T18:04:43Z)
• Efficient Classification of Very Large Images with Tiny Objects [15.822654320750054]
  Zoom-Inネットワークと呼ばれるエンドツーエンドCNNモデルを用いて,大容量画像を小さなオブジェクトで分類する。 本研究では,2つの大画像データセットと1ギガピクセルデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-06-04T20:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。