論文の概要: Open-Weight MLLMs Cannot Compare What They Cannot Name

• arxiv url: http://arxiv.org/abs/2610.41841v1
• Date: Fri, 30 Oct 2026 14:56:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.780546
• Title: Open-Weight MLLMs Cannot Compare What They Cannot Name
• Title（参考訳）: オープンウェイトMLLMは、名前をつけられないものを比較することができない
• Abstract要約: 最先端のオープンウェイトMLLMは身体の一部で失敗するが、他の部分では失敗しない。 モデルが認識できない構造は、認識可能なセマンティックな概念と関連付けられている。 セマンティック認識は、意味的理解を必要としない単純な視覚的比較をゲートすることができる。
• 参考スコア（独自算出の注目度）: 3.729242965449096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) are increasingly capable of understanding images and performing complex visual reasoning, suggesting the possibility of using them to automate biological image analysis. This need is becoming increasingly urgent as advances in technology continue to generate ever larger and more diverse microscopy datasets, already exceeding the scale at which manual visual analysis is feasible. With the final aim to use MLLMs for visual comparison of complex phenotypes, we investigate a very simple baseline: comparison of the size of body parts in synthetic images of ants. We find that state-of-the-art open-weight MLLMs fail for some body parts, but not for others, even though the comparison itself is visually trivial for all of them. We evaluate different in-context learning strategies and analyze performance on the related object recognition task. Our results suggest a recognition-driven grounding failure: structures that the models cannot recognize are instead associated with a recognizable semantic concept, impairing the grounding and comparison of both. Further analysis of the vision encoder is consistent with the hypothesis that fine-grained visual structure may be less well preserved without semantic support. Together, our results reveal a surprising limitation of current MLLMs: semantic recognition can gate simple visual comparisons that do not intrinsically require semantic understanding. Our code and data are available at https://github.com/kreshuklab/Open-Weight-MLLMs-Cannot-Compare-What-They-Cannot-Name
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、画像を理解し、複雑な視覚的推論を行う能力が増し、生物学的画像解析を自動化する可能性も示唆されている。 テクノロジーの進歩は、手動の視覚分析が実現可能なスケールをすでに超え、より大きく、より多様な顕微鏡データセットを生成し続けているため、このニーズはますます緊急化しつつある。 複雑な表現型を視覚的に比較するためにMLLMを用いて最終目的を定め, アリの合成画像における身体部位の大きさの比較という, 非常に単純なベースラインについて検討した。 最先端のオープンウェイトMLLMは、一部のボディ部分では失敗するが、他の部分では失敗しない。 本研究では,テキスト内学習手法の評価と,関連するオブジェクト認識タスクの性能解析を行う。 モデルが認識できない構造は、認識可能なセマンティックな概念と関連付けられ、両方の基盤と比較を損なう。 視覚エンコーダのさらなる解析は、微細な視覚構造はセマンティックサポートなしでは保存されにくいという仮説と一致している。 セマンティック認識は、意味的理解を必要としない単純な視覚的比較をゲートすることができる。 私たちのコードとデータはhttps://github.com/kreshuklab/Open-Weight-MLLMs-Cannot-Compare-What-They-Cannot-Nameで公開されています。

関連論文リスト

• Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation [59.40886078302025]
  マルチモーダル大規模言語モデル(MLLM)は、視覚入力と自然言語出力の整合性を示す。 しかし、生成したトークンが視覚的モダリティに依存する範囲は、いまだに理解されていない。 MLLMにおける自己回帰トークン生成を説明するための軽量なブラックボックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-26T15:38:42Z)
• Token Activation Map to Visually Explain Multimodal LLMs [23.774995444587667]
  本稿では,文脈の干渉を軽減し,高品質なMLLM記述を実現するための因果推論手法を提案する。 本稿では,トークン間の相互作用を考慮に入れたToken Activation Map (TAM) と呼ぶ。 我々のTAM法は既存のSoTA法を著しく上回り、高品質な可視化結果を示す。
  論文  参考訳（メタデータ） (2025-06-29T14:50:45Z)
• Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images [59.431316122240524]
  我々は,Multimodal LLMを用いて,数千万枚の画像からなる大規模データベースを解析するシステムを提案する。 我々は,一定期間にわたって都市を横断する頻繁な共起的変化(トリエント)を捉えることを目的としている。 ベースラインをはるかに上回り、大都市で撮影された画像から興味深い傾向を見出すことができる。
  論文  参考訳（メタデータ） (2025-04-11T17:55:45Z)
• How Can Objects Help Video-Language Understanding? [16.63183488540909]
  本稿では,任意のコンピュータビジョンアルゴリズムを利用して視覚表現を抽出・構造化するフレームワークであるObjectMLを紹介する。 6つのビデオ質問ベンチマークの広範な評価を通じて、対象中心表現の明示的な統合が依然として必要であることを確認した。 意外なことに、連続的、構造化されたオブジェクト情報を定量化し、それらをプレーンテキストとして表現する単純なアプローチが最善である。
  論文  参考訳（メタデータ） (2025-04-10T04:59:28Z)
• ZoomEye: Enhancing Multimodal LLMs with Human-Like Zooming Capabilities through Tree-Based Image Exploration [39.2654025469784]
  我々は,視覚レベルの推論に適した訓練不要でモデルに依存しない木探索アルゴリズムZoom Eyeを提案する。 このアルゴリズムにより、MLLMは、タスク関連視覚的エビデンスを探索するために、ルートから葉ノードへナビゲートすることで、人間の様のズーム動作をシミュレートすることができる。
  論文  参考訳（メタデータ） (2024-11-25T02:15:30Z)
• CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
  我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。 以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。 このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T08:21:12Z)
• What Makes for Good Visual Tokenizers for Large Language Models? [26.488269091290597]
  優れた視覚的トークン化を実現するための適切な事前学習手法について検討し,LLM(Large Language Models)とMLLM(Multimodal Large Language Models)について検討した。 支配的手法(DeiT, CLIP, MAE, DINO)で事前訓練した視覚トークン化剤について検討する。 GVT(Good Visual Tokenizer)を備えたMLLMは,複数スケールで強力な視覚理解能力を示す。
  論文  参考訳（メタデータ） (2023-05-20T16:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。