論文の概要: PixVL: Self-Supervised Training of Pixel-Level MLLMs via a Unified Mask--Text Consistency Cycle

• arxiv url: http://arxiv.org/abs/2608.01354v1
• Date: Sun, 02 Aug 2026 16:13:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.172983
• Title: PixVL: Self-Supervised Training of Pixel-Level MLLMs via a Unified Mask--Text Consistency Cycle
• Title（参考訳）: PixVL: 統一マスクによる画素レベルMLLMの自己監督型トレーニング-テキスト整合性サイクル
• Abstract要約: PixVLは、ピクセルレベルのマルチモーダルな大規模言語モデルのための自己教師付きポストトレーニングフレームワークである。 地域記述を生成し、自己検証し、ラベルのないデータから学習する。 実験によりPixVLは領域理解とセグメンテーションの両方を改善することが示された。
• 参考スコア（独自算出の注目度）: 31.234013315817858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies develop pixel-level multimodal large language models (MLLMs) that support both Region Segmentation and Region Understanding, extending multimodal interaction from whole images to specific objects and regions. However, these methods face two fundamental challenges. First, the scarcity of high-quality mask--text pairs leaves abundant mask annotations without corresponding language supervision. Second, discrepancies in supervision formats and learning-signal densities induce optimization interference between Region Segmentation and Region Understanding. To address these challenges, we propose PixVL, a self-supervised post-training framework that introduces a unified Mask--Text Consistency Cycle, enabling pixel-level MLLMs to generate and self-verify regional descriptions and learn from unlabeled data. We found that direct cycle based solely on geometric reconstruction is unreliable because re-segmentation IoU does not faithfully reflect the semantic quality and referring sufficiency. PixVL therefore introduces confuser-aware semantic verification, which uses the model's confidence when it correctly chooses the target among highly similar candidate regions, and assigns zero reward to an incorrect choice. Meanwhile, PixVL performs cross-view verification using temporally separated video frames or geometrically transformed image views, preventing cyclic learning from collapsing to positional and shape shortcuts. Finally, a quality-coupled bidirectional learning strategy uses the highest-reward description to guide Text-to-Mask learning. This strategy transforms Region Understanding and Region Segmentation from competing tasks into mutual generators and verifiers. Experiments demonstrate that PixVL improves both region understanding task and segmentation task.
• Abstract（参考訳）: 近年,領域分割と領域理解の両方をサポートする画素レベルのマルチモーダル大言語モデル(MLLM)が開発され,画像全体から特定のオブジェクトや領域へのマルチモーダルインタラクションが拡張されている。 しかし、これらの手法は2つの根本的な課題に直面している。 第一に、高品質なマスクの不足-テキストペアは、対応する言語を監督せずに豊富なマスクアノテーションを残している。 第二に、監督形式と学習信号密度の相違は、地域区分と地域理解の間の最適化干渉を引き起こす。 これらの課題に対処するために、PixVLを提案する。これは、統一されたMask-Text Consistency Cycleを導入し、ピクセルレベルのMLLMが局所的な記述を生成して自己検証し、ラベルのないデータから学習することを可能にする、自己教師付きポストトレーニングフレームワークである。 IoUの再分節化は意味的品質を忠実に反映しないため,幾何学的再構成のみに基づく直接サイクルは信頼できないことがわかった。 PixVLは、非常に類似した候補領域のターゲットを正しく選択した場合にモデルの信頼性を使用し、不正な選択にゼロ報酬を割り当てる。 一方、PixVLは、時間的に分離されたビデオフレームや幾何学的に変換された画像ビューを用いて、クロスビュー検証を行う。 最後に、品質結合型双方向学習戦略は、テキスト・ツー・マスク学習の指導に最も高い逆記述を用いる。 この戦略は、領域理解と領域分割を競合するタスクから相互発生器と検証器へと変換する。 実験により、PixVLは領域理解タスクとセグメンテーションタスクの両方を改善することが示された。

関連論文リスト

• From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding [31.516613298007005]
  C2FMAEは粗いマスク付きオートエンコーダで、3つのデータ粒度にわたる階層的な視覚表現を明示的に学習する。 我々は,C2FMAEが画像分類,オブジェクト検出,セマンティックセグメンテーションにおいて顕著な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2026-03-10T17:51:12Z)
• SAMTok: Representing Any Mask with Two Words [70.74140779649856]
  我々は、任意の領域マスクを2つの特別なトークンに変換する離散マスクトークン化器SAMTokを提案する。 マスクを新しい言語トークンとして扱うことで、SAMTokは基本的なMLLMがピクセル単位の能力を学ぶことができる。 QwenVL-SAMTokは、領域キャプション、領域VQA、接地会話、セグメンテーション参照、シーングラフ解析、マルチラウンドインタラクティブセグメンテーションに関する最先端または同等の結果を得る。
  論文  参考訳（メタデータ） (2026-01-22T16:44:09Z)
• IBISAgent: Reinforcing Pixel-Level Visual Reasoning in MLLMs for Universal Biomedical Object Referring and Segmentation [44.89730606641666]
  IBISAgentはビジョン中心の多段階意思決定プロセスとしてセグメンテーションを再構築する。 IBISAgentは、クローズドソースとオープンソース両方のSOTAメソッドを一貫して上回っている。 すべてのデータセット、コード、トレーニングされたモデルが公開されます。
  論文  参考訳（メタデータ） (2026-01-06T14:37:50Z)
• FineRS: Fine-grained Reasoning and Segmentation of Small Objects with Reinforcement Learning [62.11389260206383]
  textscFineRSは、非常に小さなオブジェクトをセグメント化するための2段階のMLLMベースの強化学習フレームワークである。 textscFineRS-4kは,属性レベルの推論に基づくMLLMの評価と,微妙で小規模なターゲットに対する画素レベルのセグメンテーションのための新しいデータセットである。
  論文  参考訳（メタデータ） (2025-10-24T10:14:17Z)
• Text4Seg++: Advancing Image Segmentation via Generative Language Modeling [52.07442359419673]
  画像分割をテキスト生成問題として用いた新しいテキスト・アズ・マスクパラダイムを提案する。 鍵となる革新はセグメンテーションマスクの新しいテキスト表現であるセグメンテーション記述子である。 自然およびリモートセンシングデータセットの実験は、Text4Seg++が最先端モデルよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2025-09-08T04:07:14Z)
• DGL-RSIS: Decoupling Global Spatial Context and Local Class Semantics for Training-Free Remote Sensing Image Segmentation [23.33389872430993]
  視覚とテキストの入力を分離する学習自由フレームワークDGL-RSISを提案する。 このフレームワークは、ローカルセマンティックレベルとグローバルコンテキストレベルの両方で視覚言語アライメントを実行する。 拡張テキスト特徴とマスク誘導視覚特徴とをマッチングすることにより、マスク分類を可能にする。
  論文  参考訳（メタデータ） (2025-08-30T19:45:25Z)
• SegAgent: Exploring Pixel Understanding Capabilities in MLLMs by Imitating Human Annotator Trajectories [52.57696897619189]
  MLLMが対話型セグメンテーションツールを用いた人間のアノテーションを模倣する新しいパラダイムであるHLMAT(Human-Like Mask Modeling Task)を紹介する。 HLMATにより、MLLMはテキストベースのクリックポイントを反復的に生成し、アーキテクチャの変更や暗黙のトークンなしで高品質なマスクを実現することができる。 HLMATは、MLLMの微細なピクセル理解を評価するためのプロトコルを提供し、視覚中心の多段階意思決定タスクを導入している。
  論文  参考訳（メタデータ） (2025-03-11T17:08:54Z)
• GeoPix: Multi-Modal Large Language Model for Pixel-level Image Understanding in Remote Sensing [22.729750410621826]
  GeoPixは、画像理解機能をピクセルレベルまで拡張するRS MLLMである。 RS画像におけるマルチスケールオブジェクトのセグメンテーションを容易にするため、クラスワイズ学習可能なメモリモジュールをマスク予測器に統合する。 画素レベルの RS MLLM をトレーニングするための大規模データセットの欠如に対処するため,GeoPixInstruct データセットを構築した。
  論文  参考訳（メタデータ） (2025-01-12T14:45:27Z)
• FGAseg: Fine-Grained Pixel-Text Alignment for Open-Vocabulary Semantic Segmentation [63.31007867379312]
  Open-vocabulary segmentationは、テキストベースの記述に基づいて特定の領域やオブジェクトを識別し、分割することを目的としている。 一般的な解決策は、CLIPのような強力な視覚言語モデル(VLM)を活用して、視覚とテキスト情報のギャップを埋めることである。 対照的に、セグメンテーションタスクは細かいピクセルレベルのアライメントと詳細なカテゴリ境界情報を必要とする。 細粒度画素テキストアライメントとカテゴリ境界補間のためのモデルFGAsegを提案する。
  論文  参考訳（メタデータ） (2025-01-01T15:47:04Z)
• Applying Unsupervised Semantic Segmentation to High-Resolution UAV Imagery for Enhanced Road Scene Parsing [12.558144256470827]
  新規な教師なし道路解析フレームワークについて紹介する。 提案手法は,手動のアノテーションを使わずに,開発データセット上で89.96%のmIoUの平均インターセクションを実現する。
  論文  参考訳（メタデータ） (2024-02-05T13:16:12Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。