論文の概要: PooDLe: Pooled and dense self-supervised learning from naturalistic videos

• arxiv url: http://arxiv.org/abs/2408.11208v1
• Date: Tue, 20 Aug 2024 21:40:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 19:09:22.836889
• Title: PooDLe: Pooled and dense self-supervised learning from naturalistic videos
• Title（参考訳）: PooDLe:自然主義的なビデオから身近で密集した自己教師型学習
• Authors: Alex N. Wang, Christopher Hoang, Yuwen Xiong, Yann LeCun, Mengye Ren,
• Abstract要約: 本稿では,プール表現における不変性に基づくSSL目的と高密度SSL目標とを組み合わせた新しいアプローチを提案する。 BDD100K駆動ビデオデータセットとウォーキングツアーの1対1ビデオデータセットに対するアプローチを検証する。
• 参考スコア（独自算出の注目度）: 32.656425302538835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning has driven significant progress in learning from single-subject, iconic images. However, there are still unanswered questions about the use of minimally-curated, naturalistic video data, which contain dense scenes with many independent objects, imbalanced class distributions, and varying object sizes. In this paper, we propose a novel approach that combines an invariance-based SSL objective on pooled representations with a dense SSL objective that enforces equivariance to optical flow warping. Our findings indicate that a unified objective applied at multiple feature scales is essential for learning effective image representations from high-resolution, naturalistic videos. We validate our approach on the BDD100K driving video dataset and the Walking Tours first-person video dataset, demonstrating its ability to capture spatial understanding from a dense objective and semantic understanding via a pooled representation objective.
• Abstract（参考訳）: 自己教師付き学習は、単一対象の象徴的なイメージから学習において大きな進歩をもたらした。 しかし、多くの独立したオブジェクトと密集したシーン、不均衡なクラス分布、さまざまなオブジェクトサイズを含む、最小限のキュレートされた自然主義的なビデオデータの使用については、まだ未解決の疑問がある。 本稿では、プール表現における不変性に基づくSSL目的と、光流のワープに等分散を強制する高密度SSL目的とを組み合わせた新しいアプローチを提案する。 以上の結果から,高解像度で自然主義的な映像から画像表現を学習するためには,複数の特徴尺度に適用した統一的な目的が不可欠であることが示唆された。 我々はBDD100K駆動ビデオデータセットとウォーキングツアーの1対1ビデオデータセットに対するアプローチを検証し、密集した目的から空間的理解を捉え、プール化された表現目的を通して意味的理解を捉える能力を実証した。

関連論文リスト

• Zero-Shot Object-Centric Representation Learning [72.43369950684057]
  ゼロショット一般化のレンズによる現在の対象中心法について検討する。 8つの異なる合成および実世界のデータセットからなるベンチマークを導入する。 多様な実世界の画像のトレーニングにより、見えないシナリオへの転送性が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-17T10:37:07Z)
• Mitigating Object Dependencies: Improving Point Cloud Self-Supervised Learning through Object Exchange [50.45953583802282]
  我々は,ポイントクラウドシーン理解のための新たな自己教師型学習(SSL)戦略を導入する。 このアプローチでは、オブジェクトパターンとコンテキストキューの両方を活用して、堅牢な機能を生成します。 提案手法は既存のSSL技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-11T06:39:53Z)
• VILLS -- Video-Image Learning to Learn Semantics for Person Re-Identification [51.89551385538251]
  VILLS (Video-Image Learning to Learn Semantics) は画像やビデオから空間的特徴と時間的特徴を共同で学習する自己教師型手法である。 VILLSはまず、意味的一貫性と頑健な空間的特徴を適応的に抽出する局所意味抽出モジュールを設計する。 そして、VILLSは、一貫した特徴空間における画像とビデオのモダリティを表現するために、統合された特徴学習および適応モジュールを設計する。
  論文  参考訳（メタデータ） (2023-11-27T19:30:30Z)
• MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features [34.92750644059916]
  本稿では,共有エンコーダ内での光フローとコンテンツ特徴を協調的に学習するための,共同埋め込み型予測アーキテクチャと自己教師型学習アプローチであるMC-JEPAを紹介する。 提案手法は、既存の教師なし光フローベンチマークと同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-07-24T11:27:14Z)
• Shepherding Slots to Objects: Towards Stable and Robust Object-Centric Learning [28.368429312400885]
  シングルビュー画像は、ビデオやマルチビュー画像よりも、特定のシーンをアンタングルする方法に関する情報が少ない。 シングルビュー画像のための新しいOCLフレームワークであるSLot Attention via SHepherding (SLASH)を導入し、Slot Attentionの上に2つの単純なyet効率のモジュールを配置する。 提案手法は,オブジェクト中心表現の一貫した学習を可能にし,4つのデータセット間で高い性能を実現する。
  論文  参考訳（メタデータ） (2023-03-31T07:07:29Z)
• De-coupling and De-positioning Dense Self-supervised Learning [65.56679416475943]
  Dense Self-Supervised Learning (SSL)メソッドは、複数のオブジェクトでイメージを処理する際に、画像レベルの特徴表現を使用する際の制限に対処する。 本研究は, 層深度やゼロパディングに伴う受容野の増大によって生じる, 結合と位置バイアスに悩まされていることを示す。 我々はCOCOにおける本手法の利点と、オブジェクト分類、セマンティックセグメンテーション、オブジェクト検出のための新しい挑戦的ベンチマークであるOpenImage-MINIについて示す。
  論文  参考訳（メタデータ） (2023-03-29T18:07:25Z)
• Towards Self-Supervised Learning of Global and Object-Centric Representations [4.36572039512405]
  自己スーパービジョンを用いた構造化対象中心表現の学習における重要な側面について論じる。 CLEVRデータセットに関するいくつかの実験を通じて、私たちの洞察を検証します。
  論文  参考訳（メタデータ） (2022-03-11T15:18:47Z)
• Semi-TCL: Semi-Supervised Track Contrastive Representation Learning [40.31083437957288]
  我々は、外観埋め込みを学習するために、新しいインスタンス・ツー・トラックマッチングの目的を設計する。 候補検出とトラッカーに永続化されたトラックの埋め込みを比較する。 我々は,この学習目標を,構成的損失の精神に倣って統一的な形で実施する。
  論文  参考訳（メタデータ） (2021-07-06T05:23:30Z)
• Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
  本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。 高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
  論文  参考訳（メタデータ） (2021-01-16T23:44:09Z)
• Video Understanding as Machine Translation [53.59298393079866]
  我々は、単一の統合フレームワークを用いて、様々なダウンストリームビデオ理解タスクに取り組む。 映像分類(EPIC-Kitchens)、質問応答(TVQA)、キャプション(TVC, YouCook2, MSR-VTT)など、いくつかのダウンストリームタスクにおいて、現状よりもパフォーマンスの向上が報告されている。
  論文  参考訳（メタデータ） (2020-06-12T14:07:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。