論文の概要: Selective Synergistic Learning for Video Object-Centric Learning
- arxiv url: http://arxiv.org/abs/2606.15527v1
- Date: Sun, 14 Jun 2026 00:51:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.675717
- Title: Selective Synergistic Learning for Video Object-Centric Learning
- Title(参考訳): ビデオオブジェクト中心学習のための選択型シナジスティック学習
- Abstract要約: スロットベースオブジェクト中心学習のための選択型シナジスティック学習(SSync)を提案する。
SSyncは、最も信頼性の高いキューのみによるエラー伝搬によるパッチトパッチアライメントを防止する。
また、SSyncは分解品質を改善し、汎用的なプラグアンドプレイモジュールとして機能する。
- 参考スコア(独自算出の注目度): 43.27149574230564
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Typical video object-centric learning (VOCL) approaches employ slot-based frameworks that rely on reconstruction-driven encoder-decoder architectures, where learning is mediated by two spatial maps: attention maps from the encoder and object maps from the decoder. As these two distinct maps exhibit different properties, a recent dense alignment strategy attempted to reconcile this discrepancy by enforcing agreement across all spatio-temporal patches via contrastive learning. However, this indiscriminate alignment inadvertently propagates the inherent weaknesses of each module, such as noisy encoder predictions and blurred decoder boundaries. Moreover, computing dense similarities across all pairs incurs a computational cost quadratic in the total number of spatio-temporal patches, severely limiting scalability. Motivated by this, we propose Selective Synergistic Learning (SSync). Instead of exhaustive patch-to-patch alignment, SSync prevents error propagation by selectively distilling only the most reliable cues: leveraging the encoder strictly for boundary refinement and the decoder for interior denoising. This is realized via a pseudo-labeling with linear complexity, eliminating the need for quadratic spatial comparisons. Also, to prevent the reinforcement of architectural biases like slot redundancy, we introduce a transitive pseudo-label merging that consolidates overlapping slots based on spatio-temporal activation consistency. Extensive studies demonstrate that SSync improves decomposition quality and serves as a versatile, plug-and-play module while also exhibiting exceptional robustness to slot configurations. Code is available at github.com/wjun0830/SSync.
- Abstract(参考訳): 典型的なビデオオブジェクト中心学習(VOCL)アプローチでは、再構成駆動のエンコーダ・デコーダアーキテクチャに依存するスロットベースのフレームワークが採用されている。
これら2つの異なる地図は異なる性質を示すため、最近の密集したアライメント戦略は、対照的な学習を通して、時空間の全てのパッチに合意を強制することで、この相違を和らげようと試みた。
しかし、この非差別的なアライメントは、ノイズエンコーダ予測やぼやけたデコーダ境界など、各モジュール固有の弱点を不注意に伝播させる。
さらに、全てのペア間の密接な類似性を計算することは、時空間パッチの総数において計算コストを2倍にし、スケーラビリティを著しく制限する。
そこで我々はSSync(Selective Synergistic Learning)を提案する。
パッチ・ツー・パッチのアライメントを徹底的に行う代わりに、SSyncは最も信頼性の高いキューのみを選択的に蒸留することでエラーの伝搬を防止している。
これは、線形複雑性を持つ擬似ラベルによって実現され、2次空間比較の必要性がなくなる。
また、スロット冗長性などのアーキテクチャバイアスの強化を防止するため、時空間的アクティベーションの整合性に基づいて重なり合うスロットを集約する過渡的な擬似ラベルマージを導入する。
大規模な研究により、SSyncは分解の質を改善し、汎用的なプラグアンドプレイモジュールとして機能し、スロット構成に例外的な堅牢性を示すことが示されている。
コードはgithub.com/wjun0830/SSyncで入手できる。
関連論文リスト
- Semantic Slots for Video Object-Centric Learning [8.62968609670716]
従来のデコーダはスロットを空間的に固定し、動作に適応する能力を妨げていることを示す。
画像コンテキストを活用するTransformerベースのデコーダであるSemanticSlotsを提案する。
YouTube-VISの結果、SemanticSlotsはビデオSAURを31ポイント改善し、最先端の手法を21ポイント上回る結果となった。
論文 参考訳(メタデータ) (2026-08-21T21:12:50Z) - Low-Interaction-Rank Learning: Unifying Multiplicative Dual-Encoder Heads [5.703301837612397]
乗算二重エンコーダネットワークは、それぞれのエンコーダの内部積として、一対の入力に対して実数値出力を算出する。
統一理論は基本的な設計決定を導くものではない。
正規化はゲージ固定であり、ホワイトニングは置換と符号まで相互作用モードをピン留めすることを示す。
論文 参考訳(メタデータ) (2026-08-12T05:09:44Z) - Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing [55.13802890769086]
我々は、専用のRGB-Event解析用に特別に設計された最初の統一バックボーンであるEvitaを紹介する。
深いモーダルなシナジーを達成するため、Evitaはすべてのエンコーダ層に直接固有のコラーニングモジュール群を組み込む。
Evitaは、リアルタイムマルチモーダル認識において、より優れた精度とレイテンシのトレードオフを提供しながら、新しい最先端メトリクスを確立する。
論文 参考訳(メタデータ) (2026-07-10T06:52:09Z) - Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs [50.3757247538081]
我々は、統一パイプラインの下で、5つの共通ビジョンエンコーダの空でないサブセット31を再訓練し、評価する。
各エンコーダのコントリビューションを,容量と必要量という2つの軸に分解する。
エンコーダごとのプロジェクタ有効ランクは、残留スコアの変動を説明する。
論文 参考訳(メタデータ) (2026-06-02T16:46:42Z) - Internalizing Temporal Consistency in Video Object-Centric Learning without Explicit Regularization [34.98521123729049]
SSC(Slot-Slot Contrastive)の損失は、最先端(SOTA)ビデオOCL(Object-Centric Learning)手法の基盤となっている。
時間的一貫性は、明示的な損失ではなく、暗黙的なモデル設計として強制されるのがよい。
論文 参考訳(メタデータ) (2026-05-29T16:28:21Z) - From Vicious to Virtuous Cycles: Synergistic Representation Learning for Unsupervised Video Object-Centric Learning [45.1920794546889]
我々は、エンコーダとデコーダが相互に相互に洗練されるような活発なサイクルを導入する。
エンコーダとデコーダの間の表現的ギャップを埋めることで、SRLはビデオオブジェクト中心の学習ベンチマークで最先端の結果を得る。
論文 参考訳(メタデータ) (2026-02-03T11:11:58Z) - Hybrid Autoencoders for Tabular Data: Leveraging Model-Based Augmentation in Low-Label Settings [13.591018807414484]
本稿では,ニューラルエンコーダと難解なソフト決定木(OSDT)エンコーダを組み合わせたハイブリッドオートエンコーダを提案する。
提案手法は,多種多様なデータセットにまたがる低ラベル分類と回帰において一貫した向上を実現し,深部および木に基づく教師付きベースラインを向上する。
論文 参考訳(メタデータ) (2025-11-10T11:08:39Z) - Enhancing Low-Cost Video Editing with Lightweight Adaptors and Temporal-Aware Inversion [28.38307253613529]
本稿では,時間空間的・意味的一貫性をBaliteral DDIMインバージョンと統合するフレームワークを提案する。
MSR-VTTデータセットで示すように,本手法は知覚品質,テキスト画像アライメント,時間的コヒーレンスを大幅に改善する。
論文 参考訳(メタデータ) (2025-01-08T16:41:31Z) - Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。
提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
論文 参考訳(メタデータ) (2024-07-02T09:11:17Z) - A Generically Contrastive Spatiotemporal Representation Enhancement for 3D Skeleton Action Recognition [10.403751563214113]
本稿では, 比較時空間表現拡張(CSRE)フレームワークを提案する。
具体的には、その表現を空間的特徴と時間的特徴に分解し、微細な動きパターンを探索する。
潜伏したデータ分布を明示的に活用するために、コントラスト学習に注意的特徴を用いて、クロスシーケンスセマンティックリレーションをモデル化する。
論文 参考訳(メタデータ) (2023-12-23T02:54:41Z) - Triple-View Knowledge Distillation for Semi-Supervised Semantic
Segmentation [54.23510028456082]
半教師付きセマンティックセグメンテーションのためのトリプルビュー知識蒸留フレームワークTriKDを提案する。
このフレームワークは、トリプルビューエンコーダとデュアル周波数デコーダを含む。
論文 参考訳(メタデータ) (2023-09-22T01:02:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。