論文の概要: Local2Global query Alignment for Video Instance Segmentation

• arxiv url: http://arxiv.org/abs/2507.20120v1
• Date: Sun, 27 Jul 2025 04:04:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:56.976075
• Title: Local2Global query Alignment for Video Instance Segmentation
• Title（参考訳）: ビデオインスタンス分割のためのローカル2Globalクエリアライメント
• Authors: Rajat Koner, Zhipeng Wang, Srinivas Parthasarathy, Chinghang Chen,
• Abstract要約: ビデオセグメンテーション手法は、長いシーケンスの処理と段階的な変化のキャプチャに優れ、現実世界のアプリケーションに最適である。 本稿では,オンラインセグメンテーションなどのオンラインフレームワークであるLocal2Globalを紹介する。 ローカルクエリとグローバルクエリの早期アライメントを容易にするために,新しいトランスフォーマーデコーダであるL2G-alignerを提案する。
• 参考スコア（独自算出の注目度）: 6.422775545814375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online video segmentation methods excel at handling long sequences and capturing gradual changes, making them ideal for real-world applications. However, achieving temporally consistent predictions remains a challenge, especially with gradual accumulation of noise or drift in on-line propagation, abrupt occlusions and scene transitions. This paper introduces Local2Global, an online framework, for video instance segmentation, exhibiting state-of-the-art performance with simple baseline and training purely in online fashion. Leveraging the DETR-based query propagation framework, we introduce two novel sets of queries:(1) local queries that capture initial object-specific spatial features from each frame and (2) global queries containing past spatio-temporal representations. We propose the L2G-aligner, a novel lightweight transformer decoder, to facilitate an early alignment between local and global queries. This alignment allows our model to effectively utilize current frame information while maintaining temporal consistency, producing a smooth transition between frames. Furthermore, L2G-aligner is integrated within the segmentation model, without relying on additional complex heuristics, or memory mechanisms. Extensive experiments across various challenging VIS and VPS datasets showcase the superiority of our method with simple online training, surpassing current benchmarks without bells and rings. For instance, we achieve 54.3 and 49.4 AP on Youtube-VIS-19/-21 datasets and 37.0 AP on OVIS dataset respectively withthe ResNet-50 backbone.
• Abstract（参考訳）: オンラインビデオセグメンテーション手法は、長いシーケンスの処理と段階的な変化のキャプチャに優れ、現実世界のアプリケーションに最適である。 しかしながら、時間的に一貫した予測を達成することは、特にオンライン伝播、突然の閉塞、シーン遷移におけるノイズやドリフトの漸進的な蓄積において、依然として課題である。 本稿では,ビデオインスタンスセグメンテーションのためのオンラインフレームワークであるLocal2Globalを紹介する。 1) 各フレームから初期オブジェクト固有の空間的特徴をキャプチャするローカルクエリと,(2)過去の時空間表現を含むグローバルクエリである。 ローカルクエリとグローバルクエリの早期アライメントを容易にするために,新しいトランスフォーマーデコーダであるL2G-alignerを提案する。 このアライメントにより、時間的一貫性を維持しながら、現在のフレーム情報を効果的に活用し、フレーム間のスムーズな遷移を生み出すことができる。 さらに、L2Gアライナーは、追加の複雑なヒューリスティックやメモリ機構に頼ることなく、セグメンテーションモデルに統合される。 様々な挑戦的なVISとVPSデータセットにわたる大規模な実験は、単純なオンライントレーニングによって、ベルやリングのない現在のベンチマークを上回る、私たちの方法の優位性を示している。 例えば、Youtube-VIS-19/-21データセットで54.3 AP、49.4 AP、OVISデータセットで37.0 AP、ResNet-50バックボーンでそれぞれ達成しています。

関連論文リスト

• TCOVIS: Temporally Consistent Online Video Instance Segmentation [98.29026693059444]
  そこで我々は,TCOVISというビデオインスタンスセグメンテーションのための新しいオンライン手法を提案する。 本手法のコアは,グローバルなインスタンス割り当て戦略とビデオ時間拡張モジュールから構成される。 提案手法を4つのVISベンチマークで評価し,ベル・アンド・ウィストルを使わずに全ベンチマークで最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-21T07:59:15Z)
• DVIS: Decoupled Video Instance Segmentation Framework [15.571072365208872]
  ビデオインスタンスセグメンテーション(VIS)は、自律運転やビデオ編集を含む様々なアプリケーションにおいて重要なタスクである。 既存の手法は、主に2つの要因により、実世界の複雑なビデオや長いビデオでは性能が劣ることが多い。 分割,追跡,改良の3つの独立したサブタスクに分割することで,VISの分離戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-06T05:24:15Z)
• A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild [72.0226493284814]
  本稿では,デブロリングアドホックを行うイベントベースフレームの統一フレームワークを提案する。 我々のネットワークは、フレーム上の従来の最先端の手法、単一画像のデブロアリング、および両者のジョイントタスクを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-01-12T18:19:00Z)
• Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
  本稿では,時間文グラウンドリングのマルチメディア問題について検討する。 与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
  論文  参考訳（メタデータ） (2022-08-31T14:16:56Z)
• HTNet: Anchor-free Temporal Action Localization with Hierarchical Transformers [19.48000379201692]
  時間的アクションローカライゼーション(TAL: Temporal Action Localization)は、ビデオ内のアクションの集合を識別するタスクである。 我々は,ビデオから開始時間,終了時間,クラス>三つ組のセットを予測する,HTNetと呼ばれる新しいアンカーフリーフレームワークを提案する。 本手法は,2つのTALベンチマークデータセット上で,正確なアクションインスタンスと最先端性能をローカライズする方法を実証する。
  論文  参考訳（メタデータ） (2022-07-20T05:40:03Z)
• Panoptic-PHNet: Towards Real-Time and High-Precision LiDAR Panoptic Segmentation via Clustering Pseudo Heatmap [9.770808277353128]
  本稿では,Panoptic-PHNetと呼ばれる高速かつ高性能なLiDARベースのフレームワークを提案する。 我々は、クラスタリング擬似ヒートマップを新しいパラダイムとして導入し、それに続いて、集中型グループ化モジュールが、効率的なクラスタリングのためにインスタンスセンタを生成する。 バックボーンデザインでは、細粒度のボクセル機能と2D Bird's Eye View (BEV)機能を異なる受容領域に融合し、詳細情報とグローバル情報の両方を利用する。
  論文  参考訳（メタデータ） (2022-05-14T08:16:13Z)
• Exploring Intra- and Inter-Video Relation for Surgical Semantic Scene Segmentation [58.74791043631219]
  セグメンテーション性能を高めるために,映像内および映像間関係を補完する新しいフレームワークSTswinCLを提案する。 本研究では,EndoVis18 ChallengeとCaDISデータセットを含む2つの公開手術ビデオベンチマークに対するアプローチを広く検証する。 実験により,従来の最先端手法を一貫して超越した提案手法の有望な性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T05:52:23Z)
• Video Is Graph: Structured Graph Module for Video Action Recognition [34.918667614077805]
  ビデオシーケンスをグラフに変換して,時間的フレーム間の直接的な長期的依存関係を求める。 特に、SGMは各ノードの隣人を複数の時間領域に分割し、グローバルな構造情報を抽出する。 報告された性能と分析により、SGMは計算複雑性を小さくして優れた精度を達成できることを示した。
  論文  参考訳（メタデータ） (2021-10-12T11:27:29Z)
• Improving Video Instance Segmentation via Temporal Pyramid Routing [61.10753640148878]
  Video Instance(VIS)は、ビデオシーケンス内の各インスタンスを検出し、セグメンテーションし、追跡することを目的とした、新しい、本質的にはマルチタスク問題である。 隣接する2つのフレームからなる特徴ピラミッド対から画素レベルのアグリゲーションを条件付きで調整し,実行するための時間ピラミッドルーティング(TPR)戦略を提案する。 我々のアプローチはプラグイン・アンド・プレイモジュールであり、既存のインスタンス・セグメンテーション・メソッドにも容易に適用できます。
  論文  参考訳（メタデータ） (2021-07-28T03:57:12Z)
• Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching [67.02962970820505]
  ビデオオブジェクト(VOS)に「トラッキング・バイ・検出」を導入する。 本稿では,時間的アグリゲーションネットワークと動的時間進化テンプレートマッチング機構を提案する。 我々は,DAVISベンチマークで1フレームあたり0.14秒,J&Fで75.9%の速度で,複雑なベルとホイッスルを伴わずに,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-11T05:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。