論文の概要: WeVisOne-VL: Unified Visual Perception from Objects to Pixels
- arxiv url: http://arxiv.org/abs/2610.31329v1
- Date: Thu, 22 Oct 2026 14:19:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.404203
- Title: WeVisOne-VL: Unified Visual Perception from Objects to Pixels
- Title(参考訳): WeVisOne-VL: オブジェクトからピクセルへの統一された視覚知覚
- Abstract要約: 既存の視覚言語モデル(VLM)は、きめ細かい視覚知覚には信頼できないままである。
WeVisOne-VL(WeChat Vision All-in-One)は、オブジェクトレベルとピクセルレベルの知覚を統一する強力なVLMである。
オブジェクト検出、ローカライゼーションの参照、カウント、OCR、セグメンテーション、マッティングなど、複数の視覚タスクをサポートする。
- 参考スコア(独自算出の注目度): 15.370639550233998
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing vision-language models (VLMs) remain unreliable for fine-grained visual perception. In this report, we present WeVisOne-VL (WeChat Vision All-in-One), a powerful VLM that unifies object-level and pixel-level perception through structured next-token prediction. It supports multiple visual tasks including object detection, referring localization, counting, OCR, segmentation, and matting, enabling localization at any user-specific granularity, from points and boxes to masks and alpha mattes. Architecturally, we integrate a lightweight pixel decoder into the VLM via a special <OBJ> token to generate instance-level pixel outputs. We train the model with a three-stage curriculum SFT followed by mixed-task RL. Across over 30 benchmarks, WeVisOne-VL demonstrates leading performance on both object-level and pixel-level tasks, while maintaining robust rejection for object-absent queries. By releasing WeVisOne-VL to the open-source community, we hope to advance VLMs from broad visual understanding toward truly reliable perception systems for real-world deployment.
- Abstract(参考訳): 既存の視覚言語モデル(VLM)は、きめ細かい視覚知覚には信頼できないままである。
本稿では,オブジェクトレベルと画素レベルの知覚を,構造化された次トーケン予測を通じて統一する強力なVLMであるWeVisOne-VL(WeChat Vision All-in-One)を提案する。
オブジェクト検出、ローカライゼーション、カウント、OCR、セグメンテーション、マットなど、複数の視覚タスクをサポートし、ポイントやボックスからマスク、アルファマットまで、ユーザ固有の粒度でのローカライズを可能にする。
アーキテクチャ上、インスタンスレベルのピクセル出力を生成するために、特別な<OBJ>トークンを介して軽量ピクセルデコーダをVLMに統合する。
3段階のカリキュラムSFTと混合タスクRLでモデルをトレーニングする。
30以上のベンチマークで、WeVisOne-VLは、オブジェクトレベルのタスクとピクセルレベルのタスクの両方で主要なパフォーマンスを示しながら、オブジェクト依存クエリに対する堅牢な拒否を維持している。
WeVisOne-VLをオープンソースコミュニティにリリースすることで、VLMを広範囲の視覚的理解から、現実のデプロイメントのための真に信頼できる認識システムへと発展させたいと思っています。
関連論文リスト
- PixelVLA: Advancing Pixel-level Understanding in Vision-Language-Action Model [59.32370587806426]
VLA(Vision-Language-Action Model)は、一般化可能なビジュモータ制御ポリシーを学習するための強力なツールとして登場している。
我々は、ピクセルレベルの推論とテキストと視覚入力によるマルチモーダルプロンプトの両方をサポートするように設計された最初のVLAモデルであるPixelVLAを紹介する。
提案手法は,マルチスケールの画素認識エンコーダと視覚的プロンプトエンコーダを統合した,新しいビジュモータ・インストラクション・チューニング・フレームワークに基づいている。
論文 参考訳(メタデータ) (2025-11-03T13:39:37Z) - EagleVision: Object-level Attribute Multimodal LLM for Remote Sensing [3.3072144045024396]
EagleVisionは、オブジェクトの検出と属性の理解に優れるリモートセンシング用に設計されたMLLMである。
EVAttrs-95Kは、命令チューニングのためのRSにおいて、最初の大規模オブジェクト属性理解データセットである。
EagleVisionは、細粒度オブジェクト検出とオブジェクト属性理解タスクの両方で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-03-30T06:13:13Z) - Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities [30.176918208200604]
VLM(Vision-Language Models)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。
これらのモデルは高い能力を持つが、いくつかの基本的な視覚的理解スキルが欠けていることが示されている。
本稿では,基本的な視覚課題におけるSoTA VLMの限界を理解することを目的とする。
論文 参考訳(メタデータ) (2024-08-13T08:26:32Z) - OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding [112.87441334765693]
OMG-LLaVAは、強力なピクセルレベルの視覚理解と推論能力を組み合わせた新しいフレームワークである。
フレキシブルなユーザインタラクションのために、さまざまな視覚的およびテキストプロンプトを受け入れることができる。
OMG-LLaVAは1つのモデルで画像レベル、オブジェクトレベル、ピクセルレベルの推論と理解を実現する。
論文 参考訳(メタデータ) (2024-06-27T17:59:01Z) - VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks [89.24440488456405]
VisionLLM v2は、エンドツーエンドの汎用マルチモーダル大モデル(MLLM)である。
単一のフレームワーク内で視覚的知覚、理解、生成を統一する。
論文 参考訳(メタデータ) (2024-06-12T16:44:50Z) - CoLLaVO: Crayon Large Language and Vision mOdel [42.182009352159]
現在のビジョン言語モデルが本当に品質の高いオブジェクトレベルの画像理解能力を持っているかどうかは、まだ解明されていない。
その結果,現在のVLMのイメージ理解能力は,視覚言語(VL)タスクにおけるゼロショット性能と強く相関していることが判明した。
オブジェクトレベルの画像理解を強化するために,Crayon Large Language and Vision mOdel (CoLLaVO)を提案する。
本稿では,視覚的指導指導中に,オブジェクトレベルのイメージ理解を忘れずに維持するためのDual QLoRAの学習戦略を提案する。
論文 参考訳(メタデータ) (2024-02-17T11:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。