論文の概要: QueenVIS: Rethinking Image-Only Training for Video Instance Segmentation via Query Enrichment

• arxiv url: http://arxiv.org/abs/2607.24598v1
• Date: Mon, 27 Jul 2026 16:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.489671
• Title: QueenVIS: Rethinking Image-Only Training for Video Instance Segmentation via Query Enrichment
• Title（参考訳）: QueenVIS: クエリエンリッチメントによるビデオインスタンスセグメンテーションのためのイメージオンリートレーニングの再考
• Abstract要約: ビデオインスタンスセグメンテーション(VIS)では、フレーム間でオブジェクトのアイデンティティを検出し、セグメンテーションし、追跡するモデルが必要である。 QueenVISは、イメージトレーニングされたVISを強化するためのクエリ中心のフレームワークである。 対象クエリの識別力と時間的安定性の強化は,VISにとって重要な,未探索の軸であることが示唆された。
• 参考スコア（独自算出の注目度）: 1.8184803929988063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video instance segmentation (VIS) requires models to detect, segment, and track object identities across frames, and most methods enforce temporal consistency through video-level supervision. Image-only training approaches, with MinVIS as one prominent example, have challenged this assumption, reaching competitive VIS without video training by treating frames as independent images and associating instances only at inference. The field has nonetheless moved toward ever more elaborate video-trained trackers, which depend on costly identity-consistent annotations, leaving the image-only direction under-explored. A diagnostic analysis identifies object query quality as the bottleneck: queries trained only to localize objects within a frame drift apart across frames and destabilize association. QueenVIS introduces a query-centric framework for strengthening image-trained VIS. During single-frame training, we enrich Mask2Former queries with two auxiliary heads: a feature-prediction loss that aligns each query with the pooled backbone descriptor of its instance, and a center-prediction loss that injects spatial structure. Both heads are discarded at inference, adding zero parameters, and temporal identity is maintained by a training-free query-propagation and memory-bank scheme. On YouTube-VIS and OVIS with a ResNet-50 backbone, QueenVIS improves over MinVIS, up to +6.7 AP on YouTube-VIS, +4.8 AP on OVIS, and +10.3 AP on the long-sequence YouTube-VIS split. QueenVIS achieves 50.9 AP on YouTube-VIS and remains competitive with recent video-supervised state-of-the-art, without processing a single video clip during training. Our findings suggest that strengthening the discriminative power and temporal stability of object queries is an important, underexplored axis for VIS. Code and models: https://github.com/ArianKheir/QueenVIS
• Abstract（参考訳）: ビデオインスタンスセグメンテーション(VIS)は、フレーム間でオブジェクトのアイデンティティを検出し、セグメンテーションし、追跡するモデルを必要とする。 MinVISを例に挙げた画像のみのトレーニングアプローチはこの仮定に挑戦し、フレームを独立したイメージとして扱い、推論時にのみインスタンスを連想させることで、ビデオトレーニングなしで競争力のあるVISに到達した。 それにもかかわらず、フィールドはより精巧なビデオ学習トラッカーへと移行し、画像のみの方向性を未調査のままにして、コストのかかるアイデンティティ一貫性のあるアノテーションに依存している。 診断分析では、オブジェクトクエリの品質をボトルネックとして認識している。 QueenVISは、イメージトレーニングされたVISを強化するためのクエリ中心のフレームワークである。 単一フレームトレーニング中、我々はMask2Formerクエリを2つの補助ヘッドで強化する。これは、各クエリをそのインスタンスのプールバックボーン記述子と整列する特徴予測損失と、空間構造を注入する中心予測損失である。 両方のヘッドは推論時に破棄され、パラメータがゼロになり、時間的アイデンティティはトレーニング不要のクエリプロパゲーションとメモリバンクスキームによって維持される。 ResNet-50のバックボーンを持つYouTube-VISとOVISでは、QueenVISはMinVISを上回り、YouTube-VISは+6.7 AP、OVISは+4.8 AP、YouTube-VISは+10.3 APになった。 QueenVISは、YouTube-VISで50.9 APを達成し、トレーニング中に単一のビデオクリップを処理せずに、最近のビデオ監督された最先端技術と競合し続けている。 対象クエリの識別力と時間的安定性の強化は,VISにとって重要な,未探索の軸であることが示唆された。 コードとモデル:https://github.com/ArianKheir/QueenVIS

関連論文リスト

• SA-VIS: Sparse frame Annotations for training Video Instance Segmentation [58.2561806729996]
  最近のオンラインビデオインスタンスセグメンテーション(VIS)手法は印象的な成果を上げており、ビデオ内のセグメントインスタンスに対して好まれるアプローチとなっている。 しかし、VISのトレーニング設定は、計算だけでなく、高密度なアノテーションも必要である。 ビデオにおけるインスタンスの効果的なモデリングとそれらの進化は、高密度に注釈付けされたフレームを必要としない、と我々は主張する。 このシンプルで低スループットなモジュールは、端から端までのトレーニングにスパースビデオフレームラベルを使用することで、膨大な学習能力を提供します。
  論文  参考訳（メタデータ） (2026-06-18T12:03:04Z)
• UVIS: Unsupervised Video Instance Segmentation [65.46196594721545]
  ビデオキャプションインスタンスのセグメンテーションには、ビデオフレームをまたいだすべてのオブジェクトの分類、セグメンテーション、追跡が必要である。 UVISは,ビデオアノテーションや高密度ラベルに基づく事前学習を必要とせずに,ビデオインスタンスのセグメンテーションを行うことのできる,新しいUnsupervised Video Instance (UVIS) フレームワークである。 本フレームワークは,フレームレベルの擬似ラベル生成,トランスフォーマーベースのVISモデルトレーニング,クエリベースのトラッキングという3つの重要なステップで構成されている。
  論文  参考訳（メタデータ） (2024-06-11T03:05:50Z)
• BoxVIS: Video Instance Segmentation with Box Annotations [15.082477136581153]
  我々は,最先端の画素教師付きVISモデルをボックス教師付きVISベースラインに適応させ,若干の性能劣化を観測する。 本研究では, 空間的・時間的整合性を改善するために, 空間的・時間的親和性損失を箱中心に誘導し, インスタンスマスクの予測を行う。 アノテーションの時間とコストの16%しか使用せず、最先端のピクセル管理型VISモデルよりも優れたインスタンスマスク予測性能と一般化能力を示す。
  論文  参考訳（メタデータ） (2023-03-26T04:04:58Z)
• A Generalized Framework for Video Instance Segmentation [49.41441806931224]
  ビデオインスタンスセグメンテーション(VIS)コミュニティでは,複雑なシーケンスと隠蔽シーケンスによる長いビデオの処理が,新たな課題として浮上している。 我々は、挑戦的なベンチマーク上で最先端のパフォーマンスを達成するための、VISの一般化されたフレームワーク、すなわちGenVISを提案する。 我々は、YouTube-VIS 2019/2021/2022およびOccluded VIS (OVIS)上で、人気VISベンチマークに対する我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2022-11-16T11:17:19Z)
• MinVIS: A Minimal Video Instance Segmentation Framework without Video-based Training [84.81566912372328]
  MinVISは最小限のビデオインスタンスセグメンテーションフレームワークである。 ビデオベースのアーキテクチャでもトレーニング手順でも、最先端のVISパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-08-03T17:50:42Z)
• DeVIS: Making Deformable Transformers Work for Video Instance Segmentation [4.3012765978447565]
  ビデオインスタンス(VIS)は、ビデオシーケンスにおける複数オブジェクトの検出、追跡、セグメンテーションに共同で取り組む。 トランスフォーマーは最近、VISタスク全体を単一のセット予測問題としてキャストすることを許可した。 変形可能な注意は、より効率的な代替手段を提供するが、その時間領域やセグメンテーションタスクへの応用はまだ検討されていない。
  論文  参考訳（メタデータ） (2022-07-22T14:27:45Z)
• Efficient Video Instance Segmentation via Tracklet Query and Proposal [62.897552852894854]
  Video Instanceは、ビデオ内の複数のオブジェクトインスタンスを同時に分類、セグメント化、追跡することを目的としている。 ほとんどのクリップレベルメソッドはエンドツーエンドの学習可能でもリアルタイムでもない。 本稿では,効率的なトレーニングと推論を行う完全エンドツーエンドフレームワークであるEfficientVISを提案する。
  論文  参考訳（メタデータ） (2022-03-03T17:00:11Z)
• Crossover Learning for Fast Online Video Instance Segmentation [53.5613957875507]
  本稿では,現在のフレームのインスタンス特徴を用いて,他のフレームで同じインスタンスをピクセル単位でローカライズする,新しいクロスオーバー学習方式を提案する。 私たちの知る限り、CrossVISはすべてのオンラインVISメソッドの中で最先端のパフォーマンスを達成し、レイテンシと精度の適切なトレードオフを示します。
  論文  参考訳（メタデータ） (2021-04-13T06:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。