論文の概要: Skip the Talk, Re-Focus on Vision: Latent Reasoning for Reasoning Segmentation in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2609.30783v1
• Date: Fri, 25 Sep 2026 04:04:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.225863
• Title: Skip the Talk, Re-Focus on Vision: Latent Reasoning for Reasoning Segmentation in Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおけるセグメンテーションの推論のための潜在推論
• Abstract要約: Reasoning segmentationは、暗黙のテキストクエリを解釈し、きめ細かい視覚知覚を可能にすることを目的としている。 既存の手法では、ターゲットをローカライズする前にマルチモーダルな大言語モデル (MLLM) によって明示的なChain-of-Thought (CoT) を生成するのが一般的である。 本稿では,明示的なCoTを,セグメンテーションのための学習可能な潜在トークンのコンパクトな集合に置き換えるLIRSegを提案する。
• 参考スコア（独自算出の注目度）: 21.4791832326582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning segmentation aims to interpret implicit textual queries and enable fine-grained visual perception, which is critical for applications such as human-computer interaction and embodied agents. Existing methods typically generate explicit Chain-of-Thought (CoT) by multimodal large language models (MLLMs) before localizing the target. Although intuitive, such explicit verbal reasoning introduces substantial attention interference: redundant textual tokens disrupt attention during perception-token generation and also increase the effective distance between visual tokens. To address this issue, we propose LIRSeg, which fully replaces explicit CoT with a compact set of learnable latent tokens for reasoning segmentation. LIRSeg is trained in two stages: spatial alignment grounds the latent tokens in object-relevant visual evidence, and GRPO further optimizes them with segmentation rewards. To make these compact latent tokens more informative, we introduce three complementary mechanisms from an information perspective: extreme-advantage sampling for selecting informative training signals, decoupled exploration-stability updates for learning complementary representations, and latent diversity amplification for preventing representational collapse. Extensive experiments on benchmarks demonstrate that LIRSeg consistently improves both segmentation accuracy and reasoning efficiency. Compared with the VisionReasoner baseline, LIRSeg achieves absolute gIoU improvements of 4.9% on ReasonSeg, 7.1% on MUSE, and 4.7% on MMR, while achieving a approximately 16x reduction in reasoning tokens. Code is available in supplementary materials.
• Abstract（参考訳）: 推論セグメンテーションは、暗黙のテキストクエリを解釈し、人間のコンピュータインタラクションやエンボディエージェントのようなアプリケーションにとって重要な、きめ細かい視覚的知覚を可能にすることを目的としている。 既存の手法では、ターゲットをローカライズする前にマルチモーダルな大言語モデル (MLLM) によって明示的なChain-of-Thought (CoT) を生成するのが一般的である。 冗長なテキストトークンは知覚トーケン生成時の注意を阻害し、視覚トークン間の効果的な距離を増大させる。 この問題に対処するため, LIRSegを提案する。これは明示的なCoTを, セグメンテーションを推論するために, 学習可能な潜在トークンのコンパクトなセットに置き換えるものである。 LIRSegは2つの段階で訓練されている: 空間的アライメントは、オブジェクト関連視覚的証拠の潜在トークンを接地し、GRPOはそれらをさらにセグメンテーション報酬で最適化する。 これらのコンパクトな潜伏トークンをより情報的にするために、情報の観点からは、情報的訓練信号の選択のための極端アドバンテージサンプリング、補完表現の学習のための探索安定性更新の分離、表現の崩壊を防ぐための潜伏多様性増幅という3つの補完メカニズムを導入する。 ベンチマークに関する大規模な実験により、LIRSegはセグメンテーション精度と推論効率の両方を一貫して改善することを示した。 VisionReasonerベースラインと比較して、LIRSegはReasonSegで4.9%、MUSEで7.1%、MMRで4.7%、推論トークンで約16倍の削減を実現している。 コードは補足資料で利用できる。

関連論文リスト

• Balancing Efficiency and Efficacy: Training-Free Attention-Guided Switching Between Explicit and Latent Thoughts for MLLMs [44.74237674161132]
  MLLM(Multimodal Large Language Models)における推論は、きめ細かい視覚認識と厳密な論理推論の両方を必要とする。 明示的なテキストベースのChain-of-Thought (CoT) は計算に高価であり、視覚幻覚を起こしやすい。 既存の潜在的推論手法は、通常、コストのかかる訓練を必要とする。
  論文  参考訳（メタデータ） (2026-08-04T10:46:10Z)
• DGSeg: Dynamic Gating of Semantic-Spatial Guided Predictions for Reasoning Segmentation [5.5825182710791275]
  推論セグメンテーションは、複雑な言語クエリが与えられたターゲットに対してピクセルワイズマスクを予測することを目的としている。 本稿では,意味的および空間的手がかりによって導かれる予測を融合させるフレームワークであるDGSegを提案する。 実験によると、DGSegは複数のベンチマークで強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-06T08:10:03Z)
• Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs [7.371189496638082]
  本稿では,カラムサブセット選択問題としてトークンプルーニングを再構成する部分空間再構成手法であるSPAREを紹介する。 SPAREはタスクに強い利得を伴い、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-06-17T04:45:10Z)
• Bridging Perception and Reasoning: Token Reweighting for RLVR in Multimodal LLMs [51.60575965819268]
  本稿では,この相互依存を明示的にモデル化するToken-Reweighting(ToR)戦略を提案する。 ToRは複数のマルチモーダル推論ベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-26T06:25:27Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• LENS: Learning to Segment Anything with Unified Reinforced Reasoning [38.582392908238866]
  LENSは拡張性のある強化学習フレームワークで、推論プロセスとセグメンテーションをエンドツーエンドで共同で最適化する。 LENSはRefCOCO、RefCOCO+、RefCOCOgのベンチマークで平均81.2%のcIoUを達成し、GLaMMという強力な微調整法を最大5.6%上回っている。
  論文  参考訳（メタデータ） (2025-08-19T17:59:53Z)
• LIRA: Inferring Segmentation in Large Multi-modal Models with Local Interleaved Region Assistance [54.683384204063934]
  大規模マルチモーダルモデル(LMM)は不正確なセグメンテーションと幻覚的理解に苦しむ。 視覚的理解とセグメンテーションの相補的関係を生かしたフレームワークであるLIRAを提案する。 LIRAはセグメンテーションと理解タスクの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-07-08T07:46:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。