論文の概要: Unlocking Cross-Attention in Label-Scarce Regimes: A Weakly Supervised Approach for Video Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2611.18324v1
- Date: Fri, 13 Nov 2026 15:38:33 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:27:16.644386
- Title: Unlocking Cross-Attention in Label-Scarce Regimes: A Weakly Supervised Approach for Video Semantic Segmentation
- Title(参考訳): ラベル・スカースレジームにおけるクロスアテンションのアンロック:ビデオセマンティックセマンティックセグメンテーションに対する弱修正アプローチ
- Abstract要約: Weakly Supervised Video Semantics (WS-VSS)は、ビデオレベルのラベルのみを使用して、ビデオ内の時間的に一貫したセマンティックオブジェクトマスクを学習することを目的としている。
WS-VSS の手法は、光学フローのような外部の先入観に依存して、時間的一貫性を利用する。
本稿では,WS-VSSフレームワークであるMemCAMを提案する。
- 参考スコア(独自算出の注目度): 55.71091623369023
- License:
- Abstract: Weakly Supervised Video Semantic Segmentation (WS-VSS) aims to learn temporally consistent semantic object masks in videos using only video-level labels. While fully supervised models successfully learn temporal relationships by means of cross-attention, training these temporal weights under weak supervision is unstable and even pushes the model below its single-frame baseline. Therefore, existing WS-VSS methods exploit temporal consistency by relying on external priors, such as optical flow. Unfortunately these cues are non-semantic, computationally expensive and noisy, degrading the supervisory signal. Instead of supervising attention weights directly or using external priors, we propose MemCAM, a WS-VSS transformer framework that learns temporal cross-attention directly through feature-space self-supervision. MemCAM introduces a CAM Propagation Algorithm that synthesizes a supervisory signal by propagating past CAMs according to patch-level feature similarities in the latent space. Specifically, we constrain their induced CAMs through a consistency objective between predicted and propagated maps, stabilizing temporal attention learning. Experiments on the YouTube-Objects v2.2 and WS$^2$ datasets demonstrate that MemCAM consistently outperforms the temporal localization and segmentation performance of WS-VSS alternatives, showing that cross-attention can be effectively trained in label-scarce video settings through internal self-supervision.
- Abstract(参考訳): Weakly Supervised Video Semantic Segmentation (WS-VSS)は、ビデオレベルのラベルのみを使用して、ビデオ内の時間的に一貫したセマンティックオブジェクトマスクを学習することを目的としている。
完全な教師付きモデルは、相互注意によって時間的関係をうまく学習するが、これらの時間的重みを弱い監督の下で訓練することは不安定であり、そのモデルが単一フレームのベースラインより下にあることさえある。
したがって、既存のWS-VSSメソッドは、光学フローのような外部の先入観に依存して、時間的一貫性を利用する。
残念なことに、これらのキューは非セマンティックであり、計算コストが高く、ノイズがあり、監督信号が劣化する。
本稿では,WS-VSSトランスフォーマーフレームワークであるMemCAMを提案する。
MemCAMは、潜伏空間におけるパッチレベルの特徴類似性に応じて、過去のCAMを伝播させることにより、監督信号を合成するCAMプロパゲーションアルゴリズムを導入する。
具体的には、予測マップと伝播マップの一貫性を目標として、誘導されたCAMを制約し、時間的注意学習を安定化する。
YouTube-Objects v2.2とWS$^2$データセットの実験は、MemCAMがWS-VSS代替品の時間的ローカライゼーションとセグメンテーション性能を一貫して上回っており、内部の自己監督を通じてラベル付きビデオ設定で効果的に学習できることを示しています。
関連論文リスト
- Internalizing Temporal Consistency in Video Object-Centric Learning without Explicit Regularization [34.98521123729049]
SSC(Slot-Slot Contrastive)の損失は、最先端(SOTA)ビデオOCL(Object-Centric Learning)手法の基盤となっている。
時間的一貫性は、明示的な損失ではなく、暗黙的なモデル設計として強制されるのがよい。
論文 参考訳(メタデータ) (2026-05-29T16:28:21Z) - Inference-Time Temporal Probability Smoothing for Stable Video Segmentation with SAM2 under Weak Prompts [0.0]
提案するフレームワークは軽量で、モデルに依存しず、リアルタイムでインタラクティブなビデオセグメンテーションに適している。
提案手法は,フレームワイドおよび時間安定性指標の総合的セットを用いて,4つの多様な映像系列に対して評価する。
論文 参考訳(メタデータ) (2026-04-18T19:16:22Z) - SPARROW: Learning Spatial Precision and Temporal Referential Consistency in Pixel-Grounded Video MLLMs [39.73103140338364]
SPARROW(SPARROW)は、2つのキーコンポーネントを通して空間的精度と時間的安定性を統一するビデオMLLMである。
SPARROWは、30,646のビデオと45,231のQ&Aペアからなる、キュレートされた参照ビデオデータセットによってサポートされている。
6つのベンチマークで一貫したゲインを提供し、RVOSでは+8.9 J&F、ビジュアルグラウンドでは+5 mIoU、GCGでは+5.4 CLAIRに改善された。
論文 参考訳(メタデータ) (2026-03-12T18:59:57Z) - MiVID: Multi-Strategic Self-Supervision for Video Frame Interpolation using Diffusion Model [2.9795035162522194]
この記事では、ビデオレンダリングのための軽量で自己監督型の拡散ベースのフレームワークであるMiVIDを紹介する。
本モデルでは,3次元U-Netバックボーンとトランスフォーマスタイルの時間的注意を組み合わせることで,明示的な動き推定の必要性を解消する。
この結果から,MiVIDは50エポックしか得られず,教師付きベースラインと競合することがわかった。
論文 参考訳(メタデータ) (2025-11-08T14:10:04Z) - Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos [58.156141601478794]
マルチオブジェクトトラッキング(UAVT)は、ビデオのフレーム間で一貫したアイデンティティを維持しながら、複数のオブジェクトを追跡することを目的としている。
既存の手法は、通常、動作キューと外観を別々にモデル化し、それらの相互作用を見渡して、最適下追跡性能をもたらす。
本稿では、AMC行列とMTCモジュールの2つの主要コンポーネントを通して、外観と動きの手がかりを利用するAMOTを提案する。
論文 参考訳(メタデータ) (2025-08-03T12:06:47Z) - MoSiC: Optimal-Transport Motion Trajectory for Dense Self-Supervised Learning [66.53533434848369]
密集した表現を学習する動き誘導型自己学習フレームワークを提案する。
6つの画像およびビデオデータセットと4つの評価ベンチマークにおいて、最先端を1%から6%改善する。
論文 参考訳(メタデータ) (2025-06-10T11:20:32Z) - Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。
生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。
我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
論文 参考訳(メタデータ) (2025-06-01T13:28:04Z) - Temporal-consistent CAMs for Weakly Supervised Video Segmentation in Waste Sorting [14.324826668510504]
本稿では,ビデオストリームの場合のセマンティックセグメンテーションのための正確なマスクを生成することができるWS手法を提案する。
ビデオ内の連続するフレーム間の時間的コヒーレンスを利用して、サリエンシマップを構築する。
我々は,映像セグメント化を弱めに制御する,ムダソーシングのシナリオに適用する。
論文 参考訳(メタデータ) (2025-02-03T15:43:33Z) - SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。
時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。
10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
論文 参考訳(メタデータ) (2024-07-22T08:04:09Z) - PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。
PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。
モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
論文 参考訳(メタデータ) (2021-12-01T19:49:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。