論文の概要: FIRM: Fine-Grained Intra-Token Representation of Masks for Remote Sensing Reasoning Segmentation

• arxiv url: http://arxiv.org/abs/2608.13980v1
• Date: Fri, 14 Aug 2026 05:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.291283
• Title: FIRM: Fine-Grained Intra-Token Representation of Masks for Remote Sensing Reasoning Segmentation
• Title（参考訳）: FIRM:リモートセンシング推論セグメンテーションのためのマスクの微細粒内表現
• Abstract要約: セグメンテーションでは、暗黙的な命令をピクセルレベルのマスクに変換するために、MLLM(Multimodal large language model)が必要となる。 リモートセンシング画像では、小さなターゲット、細い構造、隣接するインスタンスが同じ視覚トークンの異なる部分を占有することができる。 マスクの微細粒内表現であるFIRMを紹介する。
• 参考スコア（独自算出の注目度）: 27.47065769615997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning segmentation requires multimodal large language models (MLLMs) to translate implicit instructions into precise pixel-level masks. MLLMs encode an image as visual tokens, each of which merges a group of image patches. In remote sensing images, small targets, thin structures, and adjacent instances can occupy different parts of the same visual token. Assigning a single binary mask label to such a token loses its internal spatial structure, causing nearby targets to merge and object boundaries to become coarse. To bridge this representational gap, we introduce FIRM, a Fine-grained Intra-token Representation of Masks. For each visual token, FIRM predicts a mask code that specifies an $r\times r$ binary sub-cell pattern rather than a single foreground/background label. Given a target identified by the MLLM, the complete grid of mask codes is predicted in one mask pass. Fixed lookup converts the predicted codes into a discrete sub-cell mask, while marginalizing the code distribution yields a soft structural field. To further recover fine-grained boundaries within each sub-cell, we introduce a lightweight continuous renderer that refines this field using pre-merge visual features and image details. Across five reasoning and referring segmentation benchmarks on satellite and UAV images, FIRM achieves leading results, including $70.5/80.5$ gIoU/cIoU on LaSeRS and a $3.0$-point average gain on EarthReason. These results demonstrate the value of explicitly representing intra-token mask patterns for fine-grained MLLM segmentation.
• Abstract（参考訳）: 推論セグメント化では、暗黙的な命令を正確なピクセルレベルのマスクに変換するために、MLLM(Multimodal large language model)が必要となる。 MLLMはイメージを視覚トークンとしてエンコードし、それぞれがイメージパッチのグループをマージする。 リモートセンシング画像では、小さなターゲット、細い構造、隣接するインスタンスが同じ視覚トークンの異なる部分を占有することができる。 このようなトークンに単一のバイナリマスクラベルを割り当てると、その内部空間構造が失われ、近くのターゲットがマージされ、オブジェクトの境界が粗くなる。 この表現ギャップを埋めるために,マスクの微細粒内表現であるFIRMを導入する。 各ビジュアルトークンに対して、FIRMは、単一のフォアグラウンド/バックグラウンドラベルではなく、$r\times r$バイナリサブセルパターンを指定するマスクコードを予測する。 MLLMによって特定されたターゲットが与えられた場合、マスクコードの完全なグリッドは1つのマスクパスで予測される。 固定ルックアップは予測されたコードを離散的なサブセルマスクに変換し、符号分布の辺縁化はソフトな構造体を生成する。 さらに,各サブセル内の細粒度境界を復元するために,プリマージされた視覚特徴と画像の詳細を用いて,この領域を洗練する軽量連続レンダラーを導入する。 衛星画像とUAV画像の5つの推論と参照セグメンテーションのベンチマークで、FIRMはLaSeRSで70.5/80.5$ gIoU/cIoU、EarthReasonで3.0$ポイントの平均ゲインなど、主要な結果を達成している。 これらの結果は, きめ細かなMLLMセグメンテーションにおいて, トークン内マスクパターンを明示的に表現することの価値を示している。

関連論文リスト

• SIGMA: Semantic-Difference Instruction-Grounding Mask Annotator for Text-Driven Image Manipulation Localization [64.6372217552272]
  公開編集データセットには、IMLトレーニングサンプルと構造的に同一(オリジナル、編集)のペアが数百万個含まれており、ピクセルレベルのマスクのみが欠如している。 本稿では,視覚基盤のバックボーンにおいて意味・特徴の相違を行うSIGMAを提案する。 1.1M IMLトレーニングセットを生成し、5つのデータセットに対して+18.34%のF1で6つの多様な検出器を改善する。
  論文  参考訳（メタデータ） (2026-05-27T03:55:13Z)
• Rethinking MLLM Itself as a Segmenter with a Single Segmentation Token [75.67455028589505]
  本稿では,MLLM itSELFのセグメンテーションを1セグメンテーション・エンベディング(SELF1E)でアンロックする方法について検討する。 本手法は,MLLMからの画素シャッフル画像特徴の分解能の基本的な制限を目標とする。 総合的な実験により、SELF1Eは、スペシャリストマスクデコーダベースの手法と性能を競うことができる。
  論文  参考訳（メタデータ） (2026-03-19T15:25:36Z)
• SAMTok: Representing Any Mask with Two Words [70.74140779649856]
  我々は、任意の領域マスクを2つの特別なトークンに変換する離散マスクトークン化器SAMTokを提案する。 マスクを新しい言語トークンとして扱うことで、SAMTokは基本的なMLLMがピクセル単位の能力を学ぶことができる。 QwenVL-SAMTokは、領域キャプション、領域VQA、接地会話、セグメンテーション参照、シーングラフ解析、マルチラウンドインタラクティブセグメンテーションに関する最先端または同等の結果を得る。
  論文  参考訳（メタデータ） (2026-01-22T16:44:09Z)
• LlamaSeg: Image Segmentation via Autoregressive Mask Generation [46.17509085054758]
  LlamaSegは視覚的自己回帰フレームワークで、自然言語による複数の画像分割タスクを統一する。 マスクを「視覚的」トークンとして表現し、LLaMA方式のトランスフォーマーを用いて画像入力から直接予測することで、画像分割を視覚生成問題として再構成する。
  論文  参考訳（メタデータ） (2025-05-26T02:22:41Z)
• HiMTok: Learning Hierarchical Mask Tokens for Image Segmentation with Large Multimodal Model [6.641903410779405]
  最大32個のトークンを持つセグメンテーションマスクを表すHiMTok(Hierarchical Mask Tokenizer)を提案する。 HiMTokは、コンパクトで粗いマスク表現を可能にし、次世代の予測パラダイムとよく一致している。 分割と視覚能力の進歩的な学習のための3段階のトレーニングレシピを開発し,階層的なマスクロスを特徴とし,より効果的な粗い学習を行う。
  論文  参考訳（メタデータ） (2025-03-17T10:29:08Z)
• High-Quality Mask Tuning Matters for Open-Vocabulary Segmentation [109.19165503929992]
  ここでは,CLIPのマスク分類能力を高めるために,生成されたマスクの代わりに接地トラスマスクを使用するMaskCLIP++を提案する。 低コストの微調整を経て、MaskCLIP++はマルチドメインデータセットのマスク分類性能を大幅に改善した。 我々は,A-847,PC-459,A-150,PC-59,PAS-20データセット上で+1.7,+2.3,+2.1,+3.1,+0.3 mIoUの性能改善を実現する。
  論文  参考訳（メタデータ） (2024-12-16T05:44:45Z)
• CoupAlign: Coupling Word-Pixel with Sentence-Mask Alignments for Referring Image Segmentation [104.5033800500497]
  画像セグメント化の参照は、自然言語文で記述された視覚オブジェクトのすべてのピクセルをローカライズすることを目的としている。 以前の作業では、参照オブジェクトをハイライトするために、文章の埋め込みとピクセルレベルの埋め込みを簡単に調整することを学びました。 単純で効果的なマルチレベル視覚系列アライメント法であるCoupAlignを提案する。
  論文  参考訳（メタデータ） (2022-12-04T08:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。