論文の概要: LMMs Meet Object-Centric Vision: Understanding, Segmentation, Editing and Generation

• arxiv url: http://arxiv.org/abs/2604.11789v1
• Date: Mon, 13 Apr 2026 17:55:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.735914
• Title: LMMs Meet Object-Centric Vision: Understanding, Segmentation, Editing and Generation
• Title（参考訳）: LMMとオブジェクト中心ビジョン:理解、セグメンテーション、編集、生成
• Authors: Yuqian Yuan, Wenqiao Zhang, Juekai Lin, Yu Zhong, Mingjian Gao, Binhe Yu, Yunqi Cao, Wentong Li, Yueting Zhuang, Beng Chin Ooi,
• Abstract要約: LMM(Large Multimodal Models)は、汎用視覚の言語理解において顕著な進歩を遂げている。 既存のシステムは、しばしば正しいインスタンスを識別し、相互作用を通してオブジェクトのアイデンティティを保持し、高い精度で指定された領域をローカライズまたは修正するのに苦労する。 本稿では,LMMとオブジェクト中心視の収束における最近の進歩を概観する。
• 参考スコア（独自算出の注目度）: 43.757357328319124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Multimodal Models (LMMs) have achieved remarkable progress in general-purpose vision--language understanding, yet they remain limited in tasks requiring precise object-level grounding, fine-grained spatial reasoning, and controllable visual manipulation. In particular, existing systems often struggle to identify the correct instance, preserve object identity across interactions, and localize or modify designated regions with high precision. Object-centric vision provides a principled framework for addressing these challenges by promoting explicit representations and operations over visual entities, thereby extending multimodal systems from global scene understanding to object-level understanding, segmentation, editing, and generation. This paper presents a comprehensive review of recent advances at the convergence of LMMs and object-centric vision. We organize the literature into four major themes: object-centric visual understanding, object-centric referring segmentation, object-centric visual editing, and object-centric visual generation. We further summarize the key modeling paradigms, learning strategies, and evaluation protocols that support these capabilities. Finally, we discuss open challenges and future directions, including robust instance permanence, fine-grained spatial control, consistent multi-step interaction, unified cross-task modeling, and reliable benchmarking under distribution shift. We hope this paper provides a structured perspective on the development of scalable, precise, and trustworthy object-centric multimodal systems.
• Abstract（参考訳）: LMM(Large Multimodal Models)は、汎用的な視覚理解において顕著な進歩を遂げているが、正確な対象レベルの接地、きめ細かい空間的推論、制御可能な視覚操作を必要とするタスクに限られている。 特に、既存のシステムは、正しいインスタンスを特定したり、相互作用間でオブジェクトのアイデンティティを保持したり、指定された領域を高い精度でローカライズしたり修正したりするのに苦労することが多い。 オブジェクト中心のビジョンは、視覚的エンティティよりも明示的な表現と操作を促進することによって、これらの課題に対処するための原則化されたフレームワークを提供する。 本稿では,LMMとオブジェクト中心視の収束における最近の進歩を概観する。 文献は、対象中心の視覚理解、対象中心の参照セグメンテーション、対象中心の視覚編集、対象中心の視覚生成の4つの主要なテーマに分けられる。 さらに、これらの機能をサポートする主要なモデリングパラダイム、学習戦略、評価プロトコルを要約する。 最後に、ロバストなインスタンス永続性、きめ細かい空間制御、一貫したマルチステップ相互作用、統合されたマルチタスクモデリング、分散シフト下での信頼性ベンチマークなど、オープンな課題と今後の方向性について議論する。 本稿では,スケーラブルで正確で信頼性の高いオブジェクト中心型マルチモーダルシステムの開発について,構造化された視点を提供することを期待する。

関連論文リスト

• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• Revisiting Multi-Task Visual Representation Learning [52.93947931352643]
  本稿では,マルチタスク・ビジュアル事前学習フレームワークであるMTVを紹介する。 我々は、高容量の「エキスパート」モデルを利用して、高密度で構造化された擬似ラベルを大規模に合成する。 以上の結果から,MTV が "Best-of-both-worlds" のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-01-20T11:59:19Z)
• From Perception to Cognition: A Survey of Vision-Language Interactive Reasoning in Multimodal Large Language Models [66.36007274540113]
  MLLM(Multimodal Large Language Models)は、物理的世界に対する深い人間的な理解と相互作用を達成するための試みである。 情報取得(知覚)や推論(認知)を行う際、しばしば浅く不整合な統合を示す。 この調査では、新しい統合分析フレームワーク「知覚から認知へ」を紹介した。
  論文  参考訳（メタデータ） (2025-09-29T18:25:40Z)
• KptLLM++: Towards Generic Keypoint Comprehension with Large Language Model [31.59640895434506]
  キーポイントは、構造認識、ピクセルレベル、オブジェクトのコンパクトな表現として、きめ細かい画像解析、オブジェクトの検索、行動認識などのアプリケーションにおいて重要な役割を果たす。 本稿では,KptLLM++を提案する。KptLLM++は,汎用的なキーポイント理解のために設計された,新しいマルチモーダルな大規模言語モデルである。 さまざまなコンテキストにまたがるキーポイント検出を統一することにより、KptLLM++は、より効果的なヒューマンとAIのコラボレーションを促進する、高度なインターフェースとしての地位を確立している。
  論文  参考訳（メタデータ） (2025-07-15T08:52:28Z)
• Oh-A-DINO: Understanding and Enhancing Attribute-Level Information in Self-Supervised Object-Centric Representations [9.949149600332836]
  自己教師付き視覚モデルとスロットベース表現はエッジ由来の幾何学の同定に優れるが、幾何学的でない表面レベルの手がかりを保存できない。 VAE正則化はコンパクトで不整合なオブジェクト中心の表現を強制し、これらの欠落した属性を復元する。
  論文  参考訳（メタデータ） (2025-03-12T21:57:41Z)
• ObjectRelator: Enabling Cross-View Object Relation Understanding Across Ego-Centric and Exo-Centric Perspectives [109.11714588441511]
  Ego-Exoオブジェクト対応タスクは,セグメンテーションを通じて,ego-Exoパースペクティブ間のオブジェクト関係を理解することを目的としている。 最近提案されたセグメンテーション手法であるPSALMは、このタスクでデモされたゼロショット能力を例外として挙げている。 我々は、マルチモーダルコンディションフュージョンとSSLベースのクロスビューオブジェクトアライメントという、2つの重要なモジュールを特徴とする新しいアプローチであるObjectRelatorを提案する。
  論文  参考訳（メタデータ） (2024-11-28T12:01:03Z)
• Visual-Linguistic Agent: Towards Collaborative Contextual Object Reasoning [26.35257570870916]
  Visual-Linguistic Agent (VLA)は、MLLMのリレーショナル推論強度と従来の物体検出器の正確な位置決め能力を組み合わせた協調的なフレームワークである。 VLAは空間的推論とオブジェクトローカライゼーションの両方を強化し、マルチモーダル理解における重要な課題に対処する。
  論文  参考訳（メタデータ） (2024-11-15T15:02:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。