論文の概要: Rethinking Temporal Consistency in Video Object-Centric Learning: From Prediction to Correspondence
- arxiv url: http://arxiv.org/abs/2605.03650v1
- Date: Tue, 05 May 2026 11:29:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:43.916586
- Title: Rethinking Temporal Consistency in Video Object-Centric Learning: From Prediction to Correspondence
- Title（参考訳）: ビデオオブジェクト中心学習における時間的一貫性の再考:予測から対応へ
- Authors: Zhiyuan Li, Rongzhen Zhao, Wenyan Yang, Wenshuai Zhao, Pekka Marttinen, Joni Pajarinen,
- Abstract要約: ビデオオブジェクト中心学習は、将来のオブジェクト表現を予測する学習された動的モジュールを通じて時間的一貫性を維持する。
学習した遷移関数を決定論的二部間マッチングに置き換えるフレームワークであるグラウンドド対応を導入する。
時間的モデリングには学習可能なパラメータがゼロでなければならないが、MOVi-D、MOVi-E、YouTube-VISの競合性能は達成できる。
- 参考スコア（独自算出の注目度）: 32.14307213649318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The de facto approach in video object-centric learning maintains temporal consistency through learned dynamics modules that predict future object representations, called slots. We demonstrate that these predictors function as expensive approximations of discrete correspondence problems. Modern self-supervised vision backbones already encode instance-discriminative features that distinguish objects reliably. Exploiting these features eliminates the need for learned temporal prediction. We introduce Grounded Correspondence, a framework that replaces learned transition functions with deterministic bipartite matching. Slots initialize from salient regions in frozen backbone features. Frame-to-frame identity is maintained through Hungarian matching on slot representations. The approach requires zero learnable parameters for temporal modeling yet achieves competitive performance on MOVi-D, MOVi-E, and YouTube-VIS. Project page: https://magenta-sherbet-85b101.netlify.app/
- Abstract（参考訳）: ビデオオブジェクト中心学習における事実上のアプローチは、スロットと呼ばれる未来のオブジェクト表現を予測する学習された動的モジュールを通して時間的一貫性を維持する。
これらの予測器は離散対応問題の高価な近似として機能することを示す。
現代の自己監督型視覚バックボーンは、オブジェクトを確実に区別するインスタンス識別機能をすでにエンコードしている。
これらの機能をエクスプロイトすることで、学習した時間的予測が不要になる。
学習した遷移関数を決定論的二部間マッチングに置き換えるフレームワークであるグラウンドド対応を導入する。
スロットは凍結したバックボーンの特徴において、正常な領域から初期化する。
フレーム・ツー・フレームのアイデンティティは、スロット表現上のハンガリー語マッチングを通じて維持される。
時間的モデリングには学習可能なパラメータがゼロでなければならないが、MOVi-D、MOVi-E、YouTube-VISの競合性能は達成できる。
プロジェクトページ: https://magenta-sherbet-85b101.netlify.app/
関連論文リスト
- Predicting Video Slot Attention Queries from Random Slot-Feature Pairs [33.568948468498704]
人間と同じようにオブジェクトレベルのシーン表現と動的モデリングを可能にするため、教師なしのビデオオブジェクト中心学習(OCL)は有望である。
スロットと機能の両方を組み込んだ新しいトランジタを提案し,クエリ予測のための情報を提供する。
シーン表現実験により,本手法が既存のOCL手法をはるかに上回っていることが示された。
論文 参考訳（メタデータ） (2025-08-02T12:48:04Z) - VideoMolmo: Spatio-Temporal Grounding Meets Pointing [66.19964563104385]
VideoMolmoは、ビデオシーケンスのきめ細かいポインティングに適したモデルだ。
新しい仮面融合はSAM2を双方向の点伝播に用いている。
The generalization of VideoMolmo, we introduced VPoMolS-temporal, a challenge out-of-distribution benchmark across two real-world scenarios。
論文 参考訳（メタデータ） (2025-06-05T17:59:29Z) - Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。
本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
論文 参考訳（メタデータ） (2024-10-21T07:44:44Z) - Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。
融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。
我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
論文 参考訳（メタデータ） (2023-08-19T09:12:13Z) - Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。
我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。
提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
論文 参考訳（メタデータ） (2021-10-05T15:39:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。