論文の概要: Xiaomi-Lens-0 Technical Report

• arxiv url: http://arxiv.org/abs/2610.23279v2
• Date: Mon, 19 Oct 2026 11:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.330726
• Title: Xiaomi-Lens-0 Technical Report
• Title（参考訳）: Xiaomi-Lens-0テクニカルレポート
• Abstract要約: 我々はQwen3.5上に構築された4B MLLMであるXiaomi-Lens-0を提案する。 軽量デコーダは、視覚エンコーダパッチ機能と言語モデルのマスキング状態を組み合わせる。 各潜伏剤はマスクに復号するので、モデルは地域固有の潜伏剤と推論をインターリーブすることができる。
• 参考スコア（独自算出の注目度）: 23.01088782280516
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Multimodal large language models (MLLMs) answer questions about whole images well, yet they still struggle with fine-grained region understanding. A key reason is that text-only supervision never specifies which regions support an answer. To close this gap, we present Xiaomi-Lens-0, a 4B MLLM built on Qwen3.5 that predicts masks from its own visual representations. Specifically, a lightweight decoder combines vision-encoder patch features with the language model's mask-token states, termed visual latents, so that mask supervision reaches the shared backbone without an additional segmentation encoder. Because each latent decodes to a mask, the model can interleave reasoning with region-specific latents and thus think with visual latents, while grounded reasoning traces supervise the intermediate regions referenced during chain-of-thought. As a result, across all eight RefCOCO, RefCOCO+, and RefCOCOg splits, Xiaomi-Lens-0 gains 5.6 points on average over Qwen3.5 in referring comprehension and achieves the highest segmentation cIoU among compared models. Moreover, it surpasses Qwen3.5 across all perception benchmarks. Homepage: https://seerray-lab.github.io/Xiaomi-Lens-0
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は画像全体の問題によく答えるが、細かな領域理解に苦慮している。 主な理由は、テキストのみの監督が、どのリージョンが回答をサポートするかを指定しないからである。 このギャップを埋めるために、私たちはQwen3.5上に構築された4B MLLMであるXiaomi-Lens-0を紹介します。 具体的には、軽量デコーダは、視覚-エンコーダパッチ機能と、視覚遅延と呼ばれる言語モデルのマスキング状態を組み合わせることで、セグメンテーションエンコーダを追加せずに、マスク監督が共有バックボーンに到達する。 各潜伏剤はマスクに復号するので、モデルは領域固有の潜伏剤と推論をインターリーブし、視覚潜伏剤で考えることができる。 その結果、RefCOCO、RefCOCO+、RefCOCOgの8つの分割において、Xiaomi-Lens-0はQwen3.5平均5.6ポイント、比較モデルの中で最高セグメンテーションcIoUを達成する。 さらに、すべての知覚ベンチマークでQwen3.5を上回っている。 ホームページ:https://seerray-lab.github.io/Xiaomi-Lens-0

関連論文リスト

• Region-Level Policy Optimization for Fine-grained MLLM Perception [43.40677219802473]
  MLLMの微細な視覚知覚は、解像度を上げることで一般的に改善されるが、付加された視覚トークンは、視覚エンコーディングと言語モデルプリフィルコストを増大させる。 関心領域(RoI)を局所化し,その内容を認識する2つの操作は,解決要件が異なることを示す。 地域レベルの強化学習による提案ネットワークを最適化し,Vision-RL2と呼ぶ。
  論文  参考訳（メタデータ） (2026-09-17T06:10:34Z)
• CoVeR: Coverage-Based Token Pruning for Multi-View 3D Reasoning in VLMs [58.22241532542095]
  3Dシーンをマルチビュー画像として表現することで、2D VLMは事前学習の事前知識を再利用し、注釈付き3Dデータの不足を補うことで3Dを推論することができる。 既存の視覚トークンプルーナーは2つのファミリーに分かれ、それぞれが3Dマルチビュー設定に制限される。 空間被覆は3次元推論性能と関連し,トークン座標のみを用いた決定論的学習自由セレクタであるCoVeRを導入し,学習信号を持たないことを示す。
  論文  参考訳（メタデータ） (2026-09-08T07:16:37Z)
• ReVA: A Region-Aware Visual Assistant for Visually Grounded Question Answering [0.0]
  凍結したCLIP ViT-L/14 Vision Transformer (ViT) と Qwen2.5-7B-Instruct large language model (LLM) を用いた領域対応VQAモデルであるReVAを提案する。 我々は、ReVAがPOPE上で82.85%の平均F1を達成するのに対し、画像トークンのないベースラインでは81.14%であることを示した。 その結果、明示的な領域認識視覚表現は、対象の幻覚を減らし、MLLMの現実的な接地を改善することが示されている。
  論文  参考訳（メタデータ） (2026-08-27T20:33:13Z)
• Latent Noise Mask for Reducing Visual Redundancy in Multimodal Large Language Models [56.11961584000622]
  MLLM(Multimodal large language model)は、しばしば細粒度の視覚的推論において失敗する。 質問条件付き視覚的エビデンス浄化フレームワークであるLatEnt Noise maSk (Lens)を提案する。 視覚トークンが現在の質問をサポートし、復号時にそれらを保存するレンズスコア。
  論文  参考訳（メタデータ） (2026-06-29T11:44:09Z)
• AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
  我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。 AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。 これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
  論文  参考訳（メタデータ） (2026-06-01T17:56:35Z)
• T-REN: Learning Text-Aligned Region Tokens Improves Dense Vision-Language Alignment and Scalability [10.51971591757392]
  T-REN(テキスト整列領域ネットワーク)は、視覚データをテキスト整列領域レベル表現(または領域トークン)のコンパクトなセットにマッピングする効率的なエンコーダである。 T-RENは、凍結したビジョンバックボーン上に追加された軽量ネットワークを通じてこれを達成し、各セマンティック領域内のパッチレベルの表現をリージョントークンにプールし、リージョンレベルのテキストアノテーションと整合させるように訓練する。
  論文  参考訳（メタデータ） (2026-04-20T17:57:02Z)
• AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding [81.07348307304547]
  AdaptTokenは、MLLMの自己不確実性を、長ビデオトークン選択のためのグローバルコントロール信号に変換する、トレーニング不要のフレームワークである。 常に精度(例えばQwen2.5-VL 7Bで平均で+6.7)を向上し、非常に長い入力(最大10Kフレーム)の恩恵を受け続けている。 推論時間を同等のパフォーマンスで約半分削減する。
  論文  参考訳（メタデータ） (2026-03-30T17:14:15Z)
• Tokenize Anything via Prompting [65.93061853439512]
  我々は,任意のものを同時にセグメンテーションし,認識し,キャプションすることができる統一的,迅速なモデルを提案する。 我々は、50億のパラメータを持つ事前学習されたCLIPモデルから、巨大なセグメンテーションマスク、eg、SA-1Bマスク、セマンティックプリミティブを持つ一般化可能なモデルをトレーニングする。 我々は,このモデルが汎用領域コンテキストを符号化できる汎用領域レベルの画像トークン化器であると考えている。
  論文  参考訳（メタデータ） (2023-12-14T17:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。