論文の概要: Unsupervised Learning of Video Representations via Dense Trajectory Clustering

• arxiv url: http://arxiv.org/abs/2006.15731v1
• Date: Sun, 28 Jun 2020 22:23:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 02:50:03.769988
• Title: Unsupervised Learning of Video Representations via Dense Trajectory Clustering
• Title（参考訳）: Dense Trajectory Clusteringによる映像表現の教師なし学習
• Authors: Pavel Tokmakov, Martial Hebert, Cordelia Schmid
• Abstract要約: 本稿では,ビデオにおける行動認識のための表現の教師なし学習の課題に対処する。 まず、このクラスの2つのトップパフォーマンス目標(インスタンス認識と局所集約)を適用することを提案する。 有望な性能を観察するが、定性的解析により、学習した表現が動きのパターンを捉えないことを示す。
• 参考スコア（独自算出の注目度）: 86.45054867170795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the task of unsupervised learning of representations for action recognition in videos. Previous works proposed to utilize future prediction, or other domain-specific objectives to train a network, but achieved only limited success. In contrast, in the relevant field of image representation learning, simpler, discrimination-based methods have recently bridged the gap to fully-supervised performance. We first propose to adapt two top performing objectives in this class - instance recognition and local aggregation, to the video domain. In particular, the latter approach iterates between clustering the videos in the feature space of a network and updating it to respect the cluster with a non-parametric classification loss. We observe promising performance, but qualitative analysis shows that the learned representations fail to capture motion patterns, grouping the videos based on appearance. To mitigate this issue, we turn to the heuristic-based IDT descriptors, that were manually designed to encode motion patterns in videos. We form the clusters in the IDT space, using these descriptors as a an unsupervised prior in the iterative local aggregation algorithm. Our experiments demonstrates that this approach outperform prior work on UCF101 and HMDB51 action recognition benchmarks. We also qualitatively analyze the learned representations and show that they successfully capture video dynamics.
• Abstract（参考訳）: 本稿では,ビデオにおける行動認識のための表現の教師なし学習の課題に対処する。 将来の予測やドメイン固有の目的を利用してネットワークをトレーニングする以前の研究は、限られた成功しか得られなかった。 対照的に、画像表現学習の関連分野において、よりシンプルで差別に基づく手法は、最近、完全に教師された性能にギャップを埋めている。 まず,このクラスにおける2つのトップパフォーマンス目標 – インスタンス認識とローカルアグリゲーション – をビデオドメインに適用することを提案する。 特に後者のアプローチは、ネットワークの特徴空間でビデオをクラスタリングし、非パラメトリックな分類損失でクラスタを尊重するように更新する間を繰り返す。 有望なパフォーマンスを観察するが、質的な分析により、学習された表現は動きのパターンを捉えず、外観に基づいて動画をグループ化する。 この問題を軽減するために、ビデオ内の動きパターンを手動でエンコードするヒューリスティックなIDT記述子に目を向ける。 これらのディスクリプタを反復局所集約アルゴリズムの教師なし前処理として、idt空間のクラスタを形成する。 提案手法は,UCF101とHMDB51の動作認識ベンチマークにおいて,従来よりも優れていることを示す。 また,学習した表現を定性的に分析し,映像のダイナミックスをとらえることに成功した。

関連論文リスト

• Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
  Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。 本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-10-21T07:44:44Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Self-Supervised Video Representation Learning via Latent Time Navigation [12.721647696921865]
  自己教師付きビデオ表現学習は、1つのビデオの異なる時間セグメント間の類似性を最大化することを目的としている。 微粒な動きを捉えるために、LTN(Latent Time Navigation)を提案する。 実験により,LTNによる映像表現の学習は,動作分類の性能を一貫して向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-10T20:06:17Z)
• Unified Mask Embedding and Correspondence Learning for Self-Supervised Video Segmentation [76.40565872257709]
  我々は、局所的な識別的特徴学習のためのフレーム間密度対応を同時にモデル化する統合フレームワークを開発する。 ラベルなしビデオから直接マスク誘導シーケンシャルセグメンテーションを実行することができる。 我々のアルゴリズムは、2つの標準ベンチマーク(DAVIS17とYouTube-VOS)に最先端をセットする。
  論文  参考訳（メタデータ） (2023-03-17T16:23:36Z)
• Simplifying Open-Set Video Domain Adaptation with Contrastive Learning [16.72734794723157]
  ラベル付きデータセットから非ラベル付きデータセットに予測モデルを適用するために、教師なしのビデオドメイン適応手法が提案されている。 我々は、OUVDA(Open-set Video Domain adapt)と呼ばれるより現実的なシナリオに対処し、ターゲットデータセットはソースと共有されていない"未知"セマンティックカテゴリを含む。 本稿では,ビデオデータ中の時間情報を自由に利用することで,特徴空間をよりよくクラスタ化できるビデオ指向の時間的コントラスト損失を提案する。
  論文  参考訳（メタデータ） (2023-01-09T13:16:50Z)
• Box Supervised Video Segmentation Proposal Network [3.384080569028146]
  本稿では,本質的な映像特性を生かしたボックス管理型映像オブジェクト分割提案ネットワークを提案する。 提案手法は,最先端の自己監督ベンチマークを16.4%,6.9%上回る性能を示した。 提案手法のロバスト性を実証し,データセットに対する広範なテストと改善を行った。
  論文  参考訳（メタデータ） (2022-02-14T20:38:28Z)
• Unsupervised Domain Adaptation for Video Semantic Segmentation [91.30558794056054]
  セマンティックセグメンテーションのための教師なしドメイン適応は、シミュレーションからリアルに知識を伝達できるため、大きな人気を集めている。 本研究では,ビデオセマンティック・アプローチのための教師なし領域適応という,このタスクの新たなビデオ拡張について述べる。 提案手法は,画像レベル (mIoU) と映像レベル (VPQ) の両方において,従来の画像ベースUDA手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-07-23T07:18:20Z)
• Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
  ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。 近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。 本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-31T03:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。