論文の概要: Detect Anything via Next Point Prediction

• arxiv url: http://arxiv.org/abs/2510.12798v1
• Date: Tue, 14 Oct 2025 17:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.444644
• Title: Detect Anything via Next Point Prediction
• Title（参考訳）: 次点予測によるあらゆるものの検出
• Authors: Qing Jiang, Junan Huo, Xingyu Chen, Yuda Xiong, Zhaoyang Zeng, Yihao Chen, Tianhe Ren, Junzhi Yu, Lei Zhang,
• Abstract要約: Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
• 参考スコア（独自算出の注目度）: 51.55967987350882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Object detection has long been dominated by traditional coordinate regression-based models, such as YOLO, DETR, and Grounding DINO. Although recent efforts have attempted to leverage MLLMs to tackle this task, they face challenges like low recall rate, duplicate predictions, coordinate misalignment, etc. In this work, we bridge this gap and propose Rex-Omni, a 3B-scale MLLM that achieves state-of-the-art object perception performance. On benchmarks like COCO and LVIS, Rex-Omni attains performance comparable to or exceeding regression-based models (e.g., DINO, Grounding DINO) in a zero-shot setting. This is enabled by three key designs: 1) Task Formulation: we use special tokens to represent quantized coordinates from 0 to 999, reducing the model's learning difficulty and improving token efficiency for coordinate prediction; 2) Data Engines: we construct multiple data engines to generate high-quality grounding, referring, and pointing data, providing semantically rich supervision for training; \3) Training Pipelines: we employ a two-stage training process, combining supervised fine-tuning on 22 million data with GRPO-based reinforcement post-training. This RL post-training leverages geometry-aware rewards to effectively bridge the discrete-to-continuous coordinate prediction gap, improve box accuracy, and mitigate undesirable behaviors like duplicate predictions that stem from the teacher-guided nature of the initial SFT stage. Beyond conventional detection, Rex-Omni's inherent language understanding enables versatile capabilities such as object referring, pointing, visual prompting, GUI grounding, spatial referring, OCR and key-pointing, all systematically evaluated on dedicated benchmarks. We believe that Rex-Omni paves the way for more versatile and language-aware visual perception systems.
• Abstract（参考訳）: オブジェクト検出は長い間、YOLO、DETR、Grounding DINOといった従来の座標回帰ベースのモデルによって支配されてきた。 近年,MLLMの活用が試みられているが,リコール率の低さ,重複予測,コーディネートミスアライメントなどの課題に直面している。 本研究では,このギャップを埋め,最先端の物体認識性能を実現する3BスケールのMLLMであるRex-Omniを提案する。 COCOやLVISのようなベンチマークでは、Rex-Omniはゼロショット設定で回帰ベースのモデル(例えば、DINO、Grounding DINO)に匹敵するパフォーマンスを達成する。 これは3つの重要な設計によって実現される。 1)タスクの定式化:0から999までの量子化座標を表すために特別なトークンを使用し、モデルの学習困難を減らし、座標予測のためのトークン効率を向上させる。 2)データエンジン: 高品質なグラウンド,参照,ポインティングを生成するために複数のデータエンジンを構築し,トレーニングのためのセマンティックにリッチな監視を提供する。 このRLポストトレーニングは、幾何学的な報奨を利用して、離散的から連続的な座標予測ギャップを効果的にブリッジし、ボックス精度を改善し、初期のSFTステージの教師が指導する性質に由来する重複予測のような望ましくない行動を緩和する。 従来の検出以外にも、Rex-Omni固有の言語理解は、オブジェクト参照、ポインティング、ビジュアルプロンプト、GUIグラウンドニング、空間参照、OCR、キーポインティングといった汎用的な機能を、全て専用のベンチマークで体系的に評価することができる。 我々は、Rex-Omniがより汎用的で言語対応の視覚知覚システムに道を開くと信じている。

関連論文リスト

• Hi^2-GSLoc: Dual-Hierarchical Gaussian-Specific Visual Relocalization for Remote Sensing [6.997091164331322]
  リモートセンシングやUAVアプリケーションには、視覚的再ローカライゼーションが不可欠である。 画像に基づく検索とポーズ回帰アプローチは精度に欠ける。 スパース・トゥ・デンス(sparse-to-dense)と粗粒度(arse-to-fine)のパラダイムに従う二重階層的再ローカライゼーションフレームワークである$mathrmHi2$-GSLocを紹介した。
  論文  参考訳（メタデータ） (2025-07-21T14:47:56Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• Sports-Traj: A Unified Trajectory Generation Model for Multi-Agent Movement in Sports [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを紹介する。 バスケットボールU,サッカーU,サッカーUの3つの実践的スポーツデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• SA-Det3D: Self-Attention Based Context-Aware 3D Object Detection [9.924083358178239]
  本稿では,3次元物体検出におけるコンテキストモデリングのための2種類の自己注意法を提案する。 まず,現状のbev,voxel,ポイントベース検出器にペアワイズ自着機構を組み込む。 次に,ランダムにサンプリングされた位置の変形を学習することにより,最も代表的な特徴のサブセットをサンプリングするセルフアテンション変種を提案する。
  論文  参考訳（メタデータ） (2021-01-07T18:30:32Z)
• Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training [3.8073142980733]
  我々は,KM3D-Netと呼ばれる,RGB画像のみを用いたモノクル3Dオブジェクト検出のための新しいフレームワークを提案する。 我々は、対象のキーポイント、次元、方向を予測するための完全な畳み込みモデルを設計し、これらの推定を視点幾何学的制約と組み合わせて位置属性を計算する。
  論文  参考訳（メタデータ） (2020-09-02T00:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。