論文の概要: MoVISA: Multi-Token Reasoning for Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2609.28956v1
• Date: Thu, 24 Sep 2026 03:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.686813
• Title: MoVISA: Multi-Token Reasoning for Video Object Segmentation
• Title（参考訳）: MoVISA:ビデオオブジェクトセグメンテーションのためのマルチトークン推論
• Abstract要約: MoVISAはSEG0 SEG1などの複数のセグメンテーショントークンを使用して、異なるフレーム間でオブジェクトを表現する。 我々のモデルはMeViSの13.2%のJとFの改善とReVOSの8.4%のJとFの改善を実現している。
• 参考スコア（独自算出の注目度）: 77.50898170833341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in video object segmentation with Multimodal Large Language Model (MLLM) reasoning have demonstrated the effectiveness of using a single textual token, such as SEG, to predict segmentation masks across images and videos. However, we observe that this single-token strategy lacks the granularity required to precisely localize multiple objects across time in video segmentation tasks. To address this limitation, we develop Multi-Token Reasoning for Video Object Segmentation, or MoVISA. MoVISA uses multiple segmentation tokens, such as SEG0 and SEG1, to represent an object across different frames. This design enables more fine-grained alignment between language prompts and spatio-temporal mask predictions, improving both performance and interpretability. On the challenging MeViS, DAVIS17, ReVOS, and Ref-Youtube-VOS benchmarks, our model achieves a 13.2 percent J and F improvement on MeViS and an 8.4 percent J and F improvement on ReVOS. Code and models will be released.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)推論を用いたビデオオブジェクトセグメンテーションの最近の進歩は、SEGのような単一のテキストトークンを用いて、画像やビデオ間のセグメンテーションマスクを予測する効果を実証している。 しかし,この単一トークン戦略は,ビデオセグメンテーションタスクにおいて,時間にわたって複数のオブジェクトを正確にローカライズするために必要な粒度が欠如していることが観察された。 この制限に対処するため,ビデオオブジェクトセグメンテーションのためのマルチToken Reasoning(MoVISA)を開発した。 MoVISAはSEG0やSEG1などの複数のセグメンテーショントークンを使用して、異なるフレーム間でオブジェクトを表現する。 この設計により、言語プロンプトと時空間マス予測のよりきめ細かいアライメントが可能になり、性能と解釈性の両方が改善される。 MeViS、DAVIS17、ReVOS、Ref-Youtube-VOSのベンチマークでは、MeViSの13.2%、MeViSの8.4%、ReVOSの8.4%の改善が達成されている。 コードとモデルはリリースされる。

関連論文リスト

• 4th PVUW MeViS 3rd Place Report: Sa2VA [105.88675577642204]
  より強力なMLLM上でのテスト時間推定法を簡易に修正することで,MeVISのより強力な結果が得られることを示す。 特に,画像とビデオの密接な理解のための統一モデルである,最近のSa2VAを採用する。
  論文  参考訳（メタデータ） (2025-04-01T07:06:47Z)
• The Devil is in Temporal Token: High Quality Video Reasoning Segmentation [68.33080352141653]
  ビデオ推論の方法は、ビデオ内のオブジェクトを表現するために単一の特別なトークンに大きく依存する。 エンドツーエンドの動画推論セグメンテーション手法であるVRS-HQを提案する。 提案手法の強い時間的推論とセグメンテーション能力について検討した。
  論文  参考訳（メタデータ） (2025-01-15T03:17:24Z)
• Multi-Granularity Video Object Segmentation [36.06127939037613]
  本稿では,MUG-VOS(Multigranularity Video Object segmentation)データセットを提案する。 我々は,正当性および非正当性の両方をトラッキングするトレーニングセットを自動的に収集し,信頼性の高い評価のために人手による検査セットをキュレートした。 さらに,MUG-VOSデータセットを用いたメモリベースのマスク伝搬モデル(MMPM)を提案する。
  論文  参考訳（メタデータ） (2024-12-02T13:17:41Z)
• One Token to Seg Them All: Language Instructed Reasoning Segmentation in Videos [41.34787907803329]
  VideoLISAは、ビデオ内の言語命令による推論セグメンテーションの問題に対処するために設計された、ビデオベースのマルチモーダルな大規模言語モデルである。 VideoLISAは、言語命令に基づいてビデオ内に時間的に一貫したセグメンテーションマスクを生成する。
  論文  参考訳（メタデータ） (2024-09-29T07:47:15Z)
• ViLLa: Video Reasoning Segmentation with Large Language Model [48.75470418596875]
  ViLLa: 大規模言語モデルを用いたビデオ推論セグメンテーションを提案する。 ViLLaは、複数のコアイノベーションを通じて、これらの課題に対処しています。 長ビデオの効率的な処理を可能にするために、Villaは(3)長ビデオを短いが意味的に密度の高いセグメントに適応的に分割し、冗長性を低下させるキーセグメントサンプリングを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:17Z)
• 1st Place Solution for 5th LSVOS Challenge: Referring Video Object Segmentation [65.45702890457046]
  主要なRVOSモデルの強みを統合して、効果的なパラダイムを構築します。 マスクの整合性と品質を改善するために,2段階のマルチモデル融合戦略を提案する。 第5回大規模ビデオオブジェクトチャレンジ(ICCV 2023)トラック3位にランクインしたRef-Youtube-VOS検証セットで75.7%,テストセットで70%のJ&Fを達成した。
  論文  参考訳（メタデータ） (2024-01-01T04:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。