論文の概要: Beyond Token Representations: Explicit Visual Object Grounding for Video Reasoning Segmentation

• arxiv url: http://arxiv.org/abs/2611.04472v1
• Date: Tue, 03 Nov 2026 07:59:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:51:14.581754
• Title: Beyond Token Representations: Explicit Visual Object Grounding for Video Reasoning Segmentation
• Title（参考訳）: Beyond Token Representations: ビデオ推論セグメンテーションのための明示的なビジュアルオブジェクトグラウンド
• Abstract要約: Video Reasoningは、ビデオ内のクエリの推論によって指定されたターゲットオブジェクトを推論し、セグメント化することを目的としている。 既存のメソッドは通常、ターゲットを推論し、いくつかのセグメンテーショントークンを生成する。 本稿ではVRSのための明示的なビジュアルオブジェクトグラウンドティングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.17593847112057
• License:
• Abstract: Video Reasoning Segmentation (VRS) aims to infer and segment target objects specified by reasoning queries in videos. Existing methods typically first infer the target and generate a few segmentation tokens for it, which are then fed into a mask decoder for mask prediction. However, such segmentation tokens tend to be both semantically monotonous and spatially ambiguous, making them largely insufficient to represent the target to guide mask prediction. In this paper, we propose an explicit visual object grounding framework for VRS. Specifically, we first propose a spatial-aware prompt generation and refinement scheme, in which we query a multimodal large language model to generate explicit spatial prompts (i.e., bounding box and point set) for the target and then refine them through multi-step dialogue. Furthermore, we introduce a query diversification and alignment module to generate auxiliary queries that describe the same target from different perspectives. We then enforce cross-query consistency between their predicted spatial prompts to alleviate the training bias caused by query limitations. Finally, we select several reliable frames using a prompt-based keyframe selection strategy to support mask decoding and propagation. Extensive experiments on eight datasets demonstrate that our method significantly outperforms state-of-the-art methods. The code is available at https://github.com/viscom-tongji/EVOG.
• Abstract（参考訳）: Video Reasoning Segmentation (VRS)は、ビデオ内のクエリの推論によって指定されたターゲットオブジェクトを推論し、セグメント化することを目的としている。 既存の方法は、まずターゲットを推測し、いくつかのセグメンテーショントークンを生成し、マスク予測のためにマスクデコーダに送信する。 しかし、このようなセグメンテーショントークンは意味的に単調であり、空間的に曖昧である傾向があり、マスク予測を導くためにターゲットを表現するのにはほとんど不十分である。 本稿では,VRSのための明示的なビジュアルオブジェクトグラウンドティングフレームワークを提案する。 具体的には,まず,対象の空間的プロンプト(つまり境界ボックスと点集合)を生成するためにマルチモーダルな大言語モデルを問合せし,多段階対話を通じてそれらを洗練する空間認識型プロンプト生成・改良手法を提案する。 さらに、異なる視点から同じターゲットを記述する補助的なクエリを生成するために、クエリの多様化とアライメントモジュールを導入する。 次に、予測空間的プロンプト間のクロスクエリ一貫性を適用し、クエリ制限によるトレーニングバイアスを軽減する。 最後に,マスクの復号化と伝搬を支援するために,プロンプトベースのキーフレーム選択方式を用いて,信頼性の高いフレームを複数選択する。 8つのデータセットに対する大規模な実験により、我々の手法は最先端の手法を著しく上回ることを示した。 コードはhttps://github.com/viscom-tongji/EVOGで公開されている。

関連論文リスト

• Discover, Segment, and Select: A Progressive Mechanism for Zero-shot Camouflaged Object Segmentation [40.66340261994875]
  textbfDSSは段階的にセグメンテーションを洗練するために設計されたプログレッシブフレームワークである。 複数のCOSベンチマーク、特に複数のインスタンスシーンで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-23T15:15:37Z)
• Find First, Track Next: Decoupling Identification and Propagation in Referring Video Object Segmentation [19.190651264839065]
  ビデオオブジェクトのセグメンテーションの参照は、自然言語プロンプトを使用して、ビデオ内の対象オブジェクトをセグメンテーションし、追跡することを目的としている。 本研究では、マスクの伝搬からターゲットの識別を分離する効率的な分離フレームワークであるFindTrackを紹介する。 FindTrackは、すべての既存のメソッドを公開ベンチマークで大幅に上回り、その優位性を示している。
  論文  参考訳（メタデータ） (2025-03-05T13:32:49Z)
• LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
  参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。 本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。 ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-17T07:47:41Z)
• DQFormer: Towards Unified LiDAR Panoptic Segmentation with Decoupled Queries [14.435906383301555]
  本稿では,統合ワークフローにセマンティックとインスタンスセグメンテーションを実装するDQFormerという新しいフレームワークを提案する。 具体的には,セマンティクスを用いた情報的クエリを局所化して提案する,疎結合なクエリジェネレータを設計する。 また、クエリ指向マスクデコーダを導入し、対応するセグメンテーションマスクをデコードする。
  論文  参考訳（メタデータ） (2024-08-28T14:14:33Z)
• Learning Referring Video Object Segmentation from Weak Annotation [78.45828085350936]
  RVOS(Referring Video Object segmentation)は、対象物を記述する文に基づいて、対象物をすべてのビデオフレームにセグメント化することを目的としたタスクである。 そこで本研究では, RVOS に対する十分な監視を提供しながら, アノテーションの労力を 8 倍に削減する新たなアノテーション方式を提案する。 私たちのスキームは、最初にオブジェクトが現れるフレームのマスクと、残りのフレームのバウンディングボックスのみを必要とする。
  論文  参考訳（メタデータ） (2023-08-04T06:50:52Z)
• A Simple Framework for Open-Vocabulary Segmentation and Detection [85.21641508535679]
  我々は,異なるセグメンテーションと検出データセットから共同で学習する,シンプルなオープン語彙検出フレームワークOpenSeeDを提案する。 まず、事前学習されたテキストエンコーダを導入し、視覚概念を2つのタスクにエンコードし、それらの共通意味空間を学習する。 プレトレーニング後,本モデルでは,セグメンテーションと検出の両方において,競争力あるいは強いゼロショット転送性を示す。
  論文  参考訳（メタデータ） (2023-03-14T17:58:34Z)
• Robust Visual Tracking by Segmentation [103.87369380021441]
  対象範囲を推定することは、視覚的物体追跡において根本的な課題となる。 高精度なセグメンテーションマスクを生成するセグメンテーション中心のトラッキングパイプラインを提案する。 我々のトラッカーは、シーンのターゲットを背景コンテンツと明確に区別するターゲット表現をよりよく学習することができる。
  論文  参考訳（メタデータ） (2022-03-21T17:59:19Z)
• Target-Aware Object Discovery and Association for Unsupervised Video Multi-Object Segmentation [79.6596425920849]
  本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。 より正確で効率的な時間区分のための新しいアプローチを紹介します。 DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-10T14:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。