論文の概要: Rethinking MLLM Itself as a Segmenter with a Single Segmentation Token

• arxiv url: http://arxiv.org/abs/2603.19026v1
• Date: Thu, 19 Mar 2026 15:25:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.229681
• Title: Rethinking MLLM Itself as a Segmenter with a Single Segmentation Token
• Title（参考訳）: MLLMをシングルセグメンテーショントークンを用いたセグメンタとして再考
• Authors: Anqi Zhang, Xiaokang Ji, Guangyu Gao, Jianbo Jiao, Chi Harold Liu, Yunchao Wei,
• Abstract要約: 本稿では,MLLM itSELFのセグメンテーションを1セグメンテーション・エンベディング(SELF1E)でアンロックする方法について検討する。 本手法は,MLLMからの画素シャッフル画像特徴の分解能の基本的な制限を目標とする。 総合的な実験により、SELF1Eは、スペシャリストマスクデコーダベースの手法と性能を競うことができる。
• 参考スコア（独自算出の注目度）: 75.67455028589505
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent segmentation methods leveraging Multi-modal Large Language Models (MLLMs) have shown reliable object-level segmentation and enhanced spatial perception. However, almost all previous methods predominantly rely on specialist mask decoders to interpret masks from generated segmentation-related embeddings and visual features, or incorporate multiple additional tokens to assist. This paper aims to investigate whether and how we can unlock segmentation from MLLM itSELF with 1 segmentation Embedding (SELF1E) while achieving competitive results, which eliminates the need for external decoders. To this end, our approach targets the fundamental limitation of resolution reduction in pixel-shuffled image features from MLLMs. First, we retain image features at their original uncompressed resolution, and refill them with residual features extracted from MLLM-processed compressed features, thereby improving feature precision. Subsequently, we integrate pixel-unshuffle operations on image features with and without LLM processing, respectively, to unleash the details of compressed features and amplify the residual features under uncompressed resolution, which further enhances the resolution of refilled features. Moreover, we redesign the attention mask with dual perception pathways, i.e., image-to-image and image-to-segmentation, enabling rich feature interaction between pixels and the segmentation token. Comprehensive experiments across multiple segmentation tasks validate that SELF1E achieves performance competitive with specialist mask decoder-based methods, demonstrating the feasibility of decoder-free segmentation in MLLMs. Project page: https://github.com/ANDYZAQ/SELF1E.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Models)を利用した近年のセグメンテーション手法では,信頼性の高いオブジェクトレベルのセグメンテーションと空間認識の強化が示されている。 しかし、ほとんどの以前の手法は、主に、生成したセグメンテーションに関連した埋め込みと視覚的特徴からマスクを解釈したり、補助するために複数の追加トークンを組み込んだりするために、スペシャリストマスクデコーダに依存していた。 本稿では, MLLM itSELF からのセグメンテーションを 1 セグメンテーション・エンベディング (SELF1E) でアンロックし, 競合する結果が得られるかどうかを検証し, 外部デコーダの必要性を解消することを目的とする。 そこで本研究では,MLLMの画素シャッフル画像特徴の分解能の基本的な制限を目標とした。 まず,元の圧縮されていない解像度で画像の特徴を保ち,MLLM処理した圧縮特徴から抽出した残像を補充し,特徴精度を向上する。 次に,LLM処理を伴わない画像特徴に対する画素アンシャッフル操作を統合し,圧縮された特徴の詳細を解き放ち,圧縮されていない解像度で残像を増幅し,補充された特徴の解像度をさらに高める。 さらに,注目マスクをイメージ・ツー・イメージとイメージ・ツー・セグメンテーションという2つの認識経路で再設計し,画素とセグメンテーショントークン間のリッチな特徴相互作用を実現する。 複数のセグメンテーションタスクにわたる総合的な実験により、SELF1Eは特殊マスクデコーダベースの手法と競合し、MLLMにおけるデコーダフリーセグメンテーションの実現可能性を示す。 プロジェクトページ:https://github.com/ANDYZAQ/SELF1E。

関連論文リスト

• ARGenSeg: Image Segmentation with Autoregressive Image Generation Model [46.837184955843355]
  本稿では,ARGenSeg(AutoRegressive Generation-based paradigm for image)を提案する。 提案手法は,複数のセグメンテーションデータセットに対する従来手法を超越し,推論速度を著しく向上させる。
  論文  参考訳（メタデータ） (2025-10-23T17:58:26Z)
• Re-purposing SAM into Efficient Visual Projectors for MLLM-Based Referring Image Segmentation [9.120581644616488]
  画像中の「視覚的言葉」を識別するために,意味的スーパーピクセルを用いた新しい意味的視覚プロジェクタを提案する。 セマンティック・スーパーピクセルを視覚トークンとして圧縮・投影することにより,シーンに応じたトークンシーケンスを適応的に短縮する。 実験の結果,性能を損なうことなく視覚トークンを93%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-09-17T04:04:08Z)
• HiMTok: Learning Hierarchical Mask Tokens for Image Segmentation with Large Multimodal Model [6.641903410779405]
  最大32個のトークンを持つセグメンテーションマスクを表すHiMTok(Hierarchical Mask Tokenizer)を提案する。 HiMTokは、コンパクトで粗いマスク表現を可能にし、次世代の予測パラダイムとよく一致している。 分割と視覚能力の進歩的な学習のための3段階のトレーニングレシピを開発し,階層的なマスクロスを特徴とし,より効果的な粗い学習を行う。
  論文  参考訳（メタデータ） (2025-03-17T10:29:08Z)
• SegAgent: Exploring Pixel Understanding Capabilities in MLLMs by Imitating Human Annotator Trajectories [52.57696897619189]
  MLLMが対話型セグメンテーションツールを用いた人間のアノテーションを模倣する新しいパラダイムであるHLMAT(Human-Like Mask Modeling Task)を紹介する。 HLMATにより、MLLMはテキストベースのクリックポイントを反復的に生成し、アーキテクチャの変更や暗黙のトークンなしで高品質なマスクを実現することができる。 HLMATは、MLLMの微細なピクセル理解を評価するためのプロトコルを提供し、視覚中心の多段階意思決定タスクを導入している。
  論文  参考訳（メタデータ） (2025-03-11T17:08:54Z)
• PSALM: Pixelwise SegmentAtion with Large Multi-Modal Model [49.80313655590392]
  PSALMは、セグメント化タスクの課題に対処するため、LMM(Large Multi-modal Model)の強力な拡張である。 マスクデコーダとよく設計された入力スキーマを組み込んで,さまざまなセグメンテーションタスクを処理する。 PSALMの柔軟な設計は、複数のデータセットとタスクのジョイントトレーニングをサポートし、パフォーマンスとタスクの一般化を改善している。
  論文  参考訳（メタデータ） (2024-03-21T17:50:47Z)
• Generalizable Entity Grounding via Assistance of Large Language Model [77.07759442298666]
  本稿では,長いキャプションから密接な視覚的実体を抽出する手法を提案する。 本研究では,意味代名詞の抽出に大規模なマルチモーダルモデル,エンティティレベルのセグメンテーションを生成するクラス-aセグメンテーションモデル,および各セグメンテーション名詞と対応するセグメンテーションマスクを関連付けるマルチモーダル特徴融合モジュールを利用する。
  論文  参考訳（メタデータ） (2024-02-04T16:06:05Z)
• PixelLM: Pixel Reasoning with Large Multimodal Model [110.500792765109]
  PixelLMはピクセルレベルの推論と理解のための効率的かつ効率的なLMMである。 コードブックトークンの隠された埋め込みからマスクを生成し、詳細なターゲット関連情報をエンコードする。 PixelLMは、さまざまなピクセルレベルの画像推論と理解タスクを網羅し、複数のベンチマークで確立されたメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-12-04T03:05:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。