論文の概要: PRISM: Predictive Recomposition via Semantic Latent Decomposition for View-invariant Video Representation Learning

• arxiv url: http://arxiv.org/abs/2608.30388v1
• Date: Mon, 31 Aug 2026 07:43:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.291179
• Title: PRISM: Predictive Recomposition via Semantic Latent Decomposition for View-invariant Video Representation Learning
• Title（参考訳）: PRISM:ビュー不変ビデオ表現学習のための意味的潜在分解による予測的再分解
• Abstract要約: クロスビュービデオ表現学習は、視点不変のアクションセマンティクスを捉えることを目的としている。 本稿では,映像をビュー不変かつビュー不変のラテントに分解し,言語監督の下で再分解するPRISMを提案する。 PRISMは、EgoExo4D、EgoExoLearn、AE2の最先端の結果を達成し、ゼロショット設定でドメイン内モデルを超えた。
• 参考スコア（独自算出の注目度）: 57.66429303062003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-view video representation learning aims to capture viewpoint-invariant action semantics despite substantial appearance changes across egocentric and exocentric videos. However, existing methods encode each video as a unified embedding, where view-invariant and view-variant semantics inevitably entangle under co-occurrences - a failure mode we show persists even in cross-view methods explicitly trained for view-invariance. Our key insight is that a view-invariant feature is truly disentangled when it can be sufficiently recomposed with an arbitrary view-variant feature while preserving their independent semantics. Building on this, we propose PRISM, that decomposes video into view-invariant and view-variant latents and recompose them under language supervision encouraging clean decomposition of the two streams. PRISM achieves state-of-the-art results on EgoExo4D, EgoExoLearn, AE2, even surpassing in-domain models under zero-shot setting. Code is available at https://github.com/litcoderr/prism.
• Abstract（参考訳）: クロスビュービデオ表現学習は、エゴセントリックビデオとエクソセントリックビデオの間でかなりの外観変化があるにもかかわらず、視点不変のアクションセマンティクスを捉えることを目的としている。 しかし、既存のメソッドは、各動画を統一的な埋め込みとしてエンコードしており、ビュー不変性とビュー不変セマンティクスが共起下で必然的に絡み合っている。 私たちのキーとなる洞察は、ビュー不変機能は、独立的なセマンティクスを保持しながら、任意のビュー不変機能で十分に再コンパイルできるときに、本当に切り離されているということです。 そこで我々は,PRISMを提案する。このPRISMは,映像をビュー不変かつビュー不変のラテントに分解し,これら2つのストリームのクリーンな分解を奨励する言語指導の下で再分解する。 PRISMは、EgoExo4D、EgoExoLearn、AE2の最先端の結果を達成し、ゼロショット設定でドメイン内モデルを超えた。 コードはhttps://github.com/litcoderr/prism.comで入手できる。

関連論文リスト

• ID-V2V: Identity-Preserving Video Restylization [16.492389645021028]
  我々は,編集ビデオによって規定されるシーン,照明,スタイルの変化を伝播させる,アイデンティティ保存型ビデオ再構成の課題を定式化する。 鍵となる障害は、ペア化されたトレーニングデータがないことだ。 本稿では、相補的な制御信号を統合するビデオ間生成フレームワークID-V2Vを紹介する。
  論文  参考訳（メタデータ） (2026-07-24T18:12:58Z)
• Learning Activity View-invariance Under Extreme Viewpoint Changes via Curriculum Knowledge Distillation [67.7916602652644]
  ビデオからのビュー不変学習の方法は、最小のシーンクラッタを持つ制御されたマルチビュー設定に依存している。 本稿では,このような重度視認性の存在下で,リッチな映像表現を学習する手法を提案する。 我々は,時間的キーステップグラウンドと微粒化キーステップ認識ベンチマークの両方において,SOTAモデルよりも優れた2つのタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-04-07T19:30:30Z)
• Bootstrap Your Own Views: Masked Ego-Exo Modeling for Fine-grained View-invariant Video Representations [47.04855334955006]
  本稿では,因果的時間的ダイナミクスと相互視的アライメントを促進するマスク付きエゴエクソモデリングを提案する。 我々は、堅牢なクロスビュー理解の基礎として、人間の行動の構成的性質を捉えることの重要性を強調した。
  論文  参考訳（メタデータ） (2025-03-25T14:33:32Z)
• POV: Prompt-Oriented View-Agnostic Learning for Egocentric Hand-Object Interaction in the Multi-View World [59.545114016224254]
  人間は、手と物体の相互作用の第三者による観察をエゴセントリックな視点に変換するのに長けている。 本稿では,自我中心の動画をほとんど持たない視点適応を実現するための,Prompt-Oriented View-Agnostic Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T09:54:44Z)
• Exo2EgoDVC: Dense Video Captioning of Egocentric Procedural Activities Using Web Instructional Videos [25.910110689486952]
  本稿では,高密度ビデオキャプションのクロスビュー知識伝達のための新しいベンチマークを提案する。 我々は、エゴセントリックな視点で見るWebインストラクショナルビデオのモデルを、エゴセントリックな視点に適応させる。 本実験は,視点変化問題と自己中心的な視点への知識伝達を克服する効果を検証した。
  論文  参考訳（メタデータ） (2023-11-28T02:51:13Z)
• Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos via Temporal Alignment [71.16699226211504]
  我々は,エゴセントリックな映像とエゴセントリックな映像を時間内に整列させることにより,視点に不変なきめ細かいアクション特徴を学習することを提案する。 そこで本研究では,2つの鍵設計を持つ自己教師型埋め込み手法であるAE2を提案する。 評価のために,エゴ・エクソ・コンテキストにおけるきめ細かい映像理解のためのベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-06-08T19:54:08Z)
• ViewCLR: Learning Self-supervised Video Representation for Unseen Viewpoints [47.54827916387143]
  カメラ視点の変化に不変な自己教師付きビデオ表現を学習するViewCLRを提案する。 我々は、自己教師付きプレテキストタスクの学習可能な拡張と見なせるビュージェネレータを導入する。
  論文  参考訳（メタデータ） (2021-12-07T18:58:29Z)
• Time-Equivariant Contrastive Video Representation Learning [47.50766781135863]
  本稿では,非競合ビデオから表現を学習するための,自己指導型コントラスト学習手法を提案する。 実験により,映像検索と行動認識のベンチマークにおいて,時変表現が最先端の結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-12-07T10:45:43Z)
• JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting [53.28477676794658]
  ビデオにおける教師なしの動作は ディープ・ニューラル・ネットワークによって 大幅に進歩しました JOKR(Joint Keypoint Representation)は、オブジェクトの事前やデータ収集を必要とせずに、ソースとターゲットのビデオの両方を処理する。 本手法は質的かつ定量的に評価し,異なる動物,異なる花,人間など,さまざまなクロスドメインシナリオを扱うことを示す。
  論文  参考訳（メタデータ） (2021-06-17T17:32:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。