論文の概要: Learning Activity View-invariance Under Extreme Viewpoint Changes via Curriculum Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2504.05451v1
• Date: Mon, 07 Apr 2025 19:30:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:30:08.763387
• Title: Learning Activity View-invariance Under Extreme Viewpoint Changes via Curriculum Knowledge Distillation
• Title（参考訳）: カリキュラム知識蒸留による極端視点変化下での学習活動の視点不変性
• Authors: Arjun Somayazulu, Efi Mavroudi, Changan Chen, Lorenzo Torresani, Kristen Grauman,
• Abstract要約: ビデオからのビュー不変学習の方法は、最小のシーンクラッタを持つ制御されたマルチビュー設定に依存している。 本稿では,このような重度視認性の存在下で,リッチな映像表現を学習する手法を提案する。 我々は,時間的キーステップグラウンドと微粒化キーステップ認識ベンチマークの両方において,SOTAモデルよりも優れた2つのタスクに対するアプローチを評価する。
• 参考スコア（独自算出の注目度）: 67.7916602652644
• License:
• Abstract: Traditional methods for view-invariant learning from video rely on controlled multi-view settings with minimal scene clutter. However, they struggle with in-the-wild videos that exhibit extreme viewpoint differences and share little visual content. We introduce a method for learning rich video representations in the presence of such severe view-occlusions. We first define a geometry-based metric that ranks views at a fine-grained temporal scale by their likely occlusion level. Then, using those rankings, we formulate a knowledge distillation objective that preserves action-centric semantics with a novel curriculum learning procedure that pairs incrementally more challenging views over time, thereby allowing smooth adaptation to extreme viewpoint differences. We evaluate our approach on two tasks, outperforming SOTA models on both temporal keystep grounding and fine-grained keystep recognition benchmarks - particularly on views that exhibit severe occlusion.
• Abstract（参考訳）: ビデオからのビュー不変学習の従来の方法は、最小のシーンクラッタを持つ制御されたマルチビュー設定に依存している。 しかし、彼らは極端に視点の違いを示し、視覚的コンテンツをほとんど共有しない、野生の動画に苦戦している。 本稿では,このような重度視認性の存在下で,リッチな映像表現を学習する手法を提案する。 まず、視線を微粒な時間スケールでランク付けする幾何学に基づく計量を、その可能性の高い閉塞度で定義する。 そして,これらのランキングを用いて,行動中心のセマンティクスを保持する知識蒸留目標を新たなカリキュラム学習手順で定式化し,時間とともにより困難な視点を段階的に組み合わせることで,極端な視点差への円滑な適応を可能にした。 我々は,時間的キーステップグラウンドと微粒化キーステップ認識ベンチマークの両方において,SOTAモデルよりも優れた2つのタスクに対するアプローチを評価する。

関連論文リスト

• Knowledge-enhanced Multi-perspective Video Representation Learning for Scene Recognition [33.800842679024164]
  我々は,映像シーン認識の課題に対処し,高レベルの映像表現を学習して映像シーンを分類することを目的とする。 既存の作品の多くは、時間的視点で視覚情報やテキスト情報のみからビデオのシーンを識別している。 複数の視点から映像表現をモデル化する新しい2ストリームフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-09T04:37:10Z)
• No More Shortcuts: Realizing the Potential of Temporal Self-Supervision [69.59938105887538]
  本稿では、フレームレベルの認識タスクではなく、フレームレベルの認識タスクとして、時間的自己監督のより困難な再構築を提案する。 我々は、より困難なフレームレベルのタスクの定式化とショートカットの削除が、時間的自己監督によって学習された特徴の質を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-12-20T13:20:31Z)
• Exo2EgoDVC: Dense Video Captioning of Egocentric Procedural Activities Using Web Instructional Videos [25.910110689486952]
  本稿では,高密度ビデオキャプションのクロスビュー知識伝達のための新しいベンチマークを提案する。 我々は、エゴセントリックな視点で見るWebインストラクショナルビデオのモデルを、エゴセントリックな視点に適応させる。 本実験は,視点変化問題と自己中心的な視点への知識伝達を克服する効果を検証した。
  論文  参考訳（メタデータ） (2023-11-28T02:51:13Z)
• Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency [60.756222188023635]
  教師なしビデオにおいて,より豊富な情報を活用することで表現の学習を提案する。 HiCoは、トリミングされていないビデオのより強力な表現を生成するだけでなく、トリミングされたビデオに適用した場合の表現品質も向上する。
  論文  参考訳（メタデータ） (2022-04-06T18:04:54Z)
• Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
  3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。 我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。 提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
  論文  参考訳（メタデータ） (2021-10-05T15:39:11Z)
• ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency [62.38914747727636]
  本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。 既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。 本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
  論文  参考訳（メタデータ） (2021-06-04T08:44:50Z)
• Generalized Few-Shot Video Classification with Video Retrieval and Feature Generation [132.82884193921535]
  従来の手法は,映像特徴学習の重要性を過小評価し,二段階的アプローチを提案する。 この単純なベースラインアプローチは、既存のベンチマークで20ポイント以上の精度で、以前の数ショットビデオ分類方法よりも優れていることを示す。 さらなる改善をもたらす2つの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-09T13:05:32Z)
• Generalized Multi-view Shared Subspace Learning using View Bootstrapping [43.027427742165095]
  マルチビュー学習の主な目的は、下流学習タスクを改善するために、オブジェクト/イベントのクラスの複数の並列ビューに共通する情報をモデル化することである。 本稿では,多視点相関に基づくニューラルな手法を提案する。 音声認識、3次元オブジェクト分類、ポーズ不変顔認識の実験は、多数のビューをモデル化するためのビューブートストラップの堅牢性を示している。
  論文  参考訳（メタデータ） (2020-05-12T20:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。