論文の概要: Mutual Information Based Method for Unsupervised Disentanglement of Video Representation

• arxiv url: http://arxiv.org/abs/2011.08614v1
• Date: Tue, 17 Nov 2020 13:16:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 16:11:38.922526
• Title: Mutual Information Based Method for Unsupervised Disentanglement of Video Representation
• Title（参考訳）: ビデオ表現の教師なし乱れの相互情報に基づく方法
• Authors: P Aditya Sreekar, Ujjwal Tiwari and Anoop Namboodiri
• Abstract要約: ビデオ予測モデルは、マニキュア計画、ヘルスケア、自律ナビゲーション、シミュレーションに将来的な応用を見出した。 将来のフレーム生成における大きな課題の1つは、視覚データの高次元性によるものである。 我々は,高次元映像フレームの予測作業を削減する,相互情報予測自動エンコーダフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video Prediction is an interesting and challenging task of predicting future frames from a given set context frames that belong to a video sequence. Video prediction models have found prospective applications in Maneuver Planning, Health care, Autonomous Navigation and Simulation. One of the major challenges in future frame generation is due to the high dimensional nature of visual data. In this work, we propose Mutual Information Predictive Auto-Encoder (MIPAE) framework, that reduces the task of predicting high dimensional video frames by factorising video representations into content and low dimensional pose latent variables that are easy to predict. A standard LSTM network is used to predict these low dimensional pose representations. Content and the predicted pose representations are decoded to generate future frames. Our approach leverages the temporal structure of the latent generative factors of a video and a novel mutual information loss to learn disentangled video representations. We also propose a metric based on mutual information gap (MIG) to quantitatively access the effectiveness of disentanglement on DSprites and MPI3D-real datasets. MIG scores corroborate with the visual superiority of frames predicted by MIPAE. We also compare our method quantitatively on evaluation metrics LPIPS, SSIM and PSNR.
• Abstract（参考訳）: ビデオ予測は、ビデオシーケンスに属する所定のコンテキストフレームから将来のフレームを予測する、興味深い、挑戦的なタスクである。 ビデオ予測モデルは、マニキュア計画、ヘルスケア、自律ナビゲーション、シミュレーションに将来的な応用を見出した。 将来のフレーム生成における大きな課題の1つは、視覚データの高次元性によるものである。 本研究では,映像表現をコンテンツに分解することで高次元映像フレームを予測し,予測し易い低次元ポーズ潜時変数を列挙することで,MIPAE(Multual Information Predictive Auto-Encoder)フレームワークを提案する。 標準LSTMネットワークは、これらの低次元ポーズ表現を予測するために使用される。 コンテンツと予測されたポーズ表現をデコードして将来のフレームを生成する。 本手法は,ビデオの潜在生成因子の時間的構造と新たな相互情報損失を活用し,異種ビデオ表現を学習する。 また,DSprite と MPI3D-real データセット上でのアンタングルメントの有効性を定量的に把握するために,相互情報ギャップ(MIG)に基づくメトリクスを提案する。 MIGスコアはMIPAEによって予測されるフレームの視覚的優位性と相関する。 また,LPIPS,SSIM,PSNRの評価指標について定量的に比較した。

関連論文リスト

• Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
  Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。 本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-10-21T07:44:44Z)
• Visual Representation Learning with Stochastic Frame Prediction [90.99577838303297]
  本稿では,フレーム予測における不確実性を捉えることを学ぶ映像生成の考え方を再考する。 フレーム間の時間情報を学習するためのフレーム予測モデルを訓練するフレームワークを設計する。 このアーキテクチャは、両目的を相乗的かつ計算効率のよい方法で組み合わせることができる。
  論文  参考訳（メタデータ） (2024-06-11T16:05:15Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• Patch Spatio-Temporal Relation Prediction for Video Anomaly Detection [19.643936110623653]
  ビデオ異常検出(VAD)は、特定のコンテキストと時間枠内の異常を識別することを目的としている。 近年の深層学習に基づくVADモデルは,高解像度フレームの生成によって有望な結果を示した。 本稿では, パッチ間関係予測タスクを通じて, VADの自己教師型学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-28T03:07:16Z)
• Object-Centric Video Prediction via Decoupling of Object Dynamics and Interactions [27.112210225969733]
  本稿では,映像系列の構造を抽出し,オブジェクトのダイナミックスやインタラクションを視覚的観察からモデル化する,オブジェクト中心のビデオ予測タスクのための新しいフレームワークを提案する。 そこで本研究では,時間的ダイナミクスとオブジェクトの相互作用の処理を分離した2つのオブジェクト中心ビデオ予測器(OCVP)トランスフォーマモジュールを提案する。 実験では、OCVP予測器を用いたオブジェクト中心の予測フレームワークが、2つの異なるデータセットにおけるオブジェクト非依存のビデオ予測モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-23T08:29:26Z)
• Optimizing Video Prediction via Video Frame Interpolation [53.16726447796844]
  本稿では,映像フレームスケープのフォトリアリスティックな結果にインスパイアされた,映像フレームによる映像予測のための新しい最適化フレームワークを提案する。 我々のフレームワークは、トレーニングデータセットを必要とせずに、事前訓練された差別化可能なビデオフレームモジュールによる最適化に基づいている。 我々の手法は、大量のトレーニングデータや余分な意味情報を必要とする他のビデオ予測手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-27T17:03:46Z)
• Video Prediction at Multiple Scales with Hierarchical Recurrent Networks [24.536256844130996]
  本稿では,異なるレベルの粒度の将来の結果を同時に予測できる新しい映像予測モデルを提案する。 空間的および時間的ダウンサンプリングを組み合わせることで、MSPredは長い時間的地平線上での抽象表現を効率的に予測することができる。 実験では,提案モデルが将来の映像フレームだけでなく,様々なシナリオにおける他の表現を正確に予測できることを実証した。
  論文  参考訳（メタデータ） (2022-03-17T13:08:28Z)
• Wide and Narrow: Video Prediction from Context and Motion [54.21624227408727]
  本稿では,これらの相補的属性を統合し,深層ネットワークを通した複雑なピクセルのダイナミックスを予測するフレームワークを提案する。 本研究では,非局所的な近隣表現を集約し,過去のフレーム上の文脈情報を保存するグローバルなコンテキスト伝搬ネットワークを提案する。 また,移動オブジェクトの動作をメモリに格納することで,適応的なフィルタカーネルを生成するローカルフィルタメモリネットワークを考案した。
  論文  参考訳（メタデータ） (2021-10-22T04:35:58Z)
• Understanding Road Layout from Videos as a Whole [82.30800791500869]
  我々はこれをトップビューの道路属性予測問題として定式化し、その目的は各フレームの属性を正確かつ一貫して予測することである。 我々は、ビデオにおけるカメラモーションの活用と、長期ビデオ情報の導入という3つの新しい側面を生かした。
  論文  参考訳（メタデータ） (2020-07-02T00:59:15Z)
• Motion Segmentation using Frequency Domain Transformer Networks [29.998917158604694]
  本稿では,前景と背景を別々にモデル化することで,次のフレームを予測できる新しいエンドツーエンド学習アーキテクチャを提案する。 我々の手法は、ビデオラダーネットワークや予測ゲーテッドピラミドなど、広く使われているビデオ予測手法よりも優れた合成データが得られる。
  論文  参考訳（メタデータ） (2020-04-18T15:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。