論文の概要: Motion Graph Unleashed: A Novel Approach to Video Prediction

• arxiv url: http://arxiv.org/abs/2410.22288v1
• Date: Tue, 29 Oct 2024 17:39:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:40:16.741624
• Title: Motion Graph Unleashed: A Novel Approach to Video Prediction
• Title（参考訳）: モーショングラフが公開:ビデオ予測の新しいアプローチ
• Authors: Yiqi Zhong, Luming Liang, Bohan Tang, Ilya Zharkov, Ulrich Neumann,
• Abstract要約: ビデオ予測問題に対する新しいアプローチであるモーショングラフを導入し,過去の限られたデータから将来の映像フレームを予測する。 モーショングラフは、ビデオフレームのパッチを相互接続されたグラフノードに変換し、それらの間の空間的時間的関係を包括的に記述する。
• 参考スコア（独自算出の注目度）: 22.997057994222175
• License:
• Abstract: We introduce motion graph, a novel approach to the video prediction problem, which predicts future video frames from limited past data. The motion graph transforms patches of video frames into interconnected graph nodes, to comprehensively describe the spatial-temporal relationships among them. This representation overcomes the limitations of existing motion representations such as image differences, optical flow, and motion matrix that either fall short in capturing complex motion patterns or suffer from excessive memory consumption. We further present a video prediction pipeline empowered by motion graph, exhibiting substantial performance improvements and cost reductions. Experiments on various datasets, including UCF Sports, KITTI and Cityscapes, highlight the strong representative ability of motion graph. Especially on UCF Sports, our method matches and outperforms the SOTA methods with a significant reduction in model size by 78% and a substantial decrease in GPU memory utilization by 47%.
• Abstract（参考訳）: ビデオ予測問題に対する新しいアプローチであるモーショングラフを導入し,過去の限られたデータから将来の映像フレームを予測する。 モーショングラフは、ビデオフレームのパッチを相互接続されたグラフノードに変換し、それらの間の空間的時間的関係を包括的に記述する。 この表現は、複雑な動きパターンを捉えるのに不足するか、過剰なメモリ消費に悩まされるような、画像の違い、光の流れ、動き行列といった既存の動き表現の限界を克服する。 さらに、モーショングラフによって強化された映像予測パイプラインを提示し、大幅な性能向上とコスト削減を実現した。 UCF Sports、KITTI、Cityscapesなど、さまざまなデータセットの実験では、モーショングラフの強力な代表性を強調している。 特にUCFスポーツにおいて,本手法はモデルサイズを78%,GPUメモリ使用率を47%削減したSOTA法に適合し,性能を向上する。

関連論文リスト

• Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation [54.60804602905519]
  我々は、階層化されたシーン形状、動き予測、新しいビュー合成を一緒にモデル化することを目的として、絡み合った表現を学習する。 本手法では,2次元のシーンを3次元の点群に持ち上げることによって,シーン形状をシーンの動きから切り離す。 将来の3次元シーンの動作をモデル化するために,まず自我運動を予測し,その後に動的物体の残留運動を予測する2段階のアンタングル手法を提案する。
  論文  参考訳（メタデータ） (2024-07-31T08:54:50Z)
• ETTrack: Enhanced Temporal Motion Predictor for Multi-Object Tracking [4.250337979548885]
  時間的動き予測器であるETTrackを用いた動きに基づくMOT手法を提案する。 具体的には、動作予測器は、変換器モデルと時間畳み込みネットワーク(TCN)を統合して、短期および長期の動作パターンをキャプチャする。 本研究では,DanceTrackとSportsMOTの最先端トラッカーと比較して,ETTrackの競争性能が向上していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T17:51:33Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• Memory Efficient Temporal & Visual Graph Model for Unsupervised Video Domain Adaptation [50.158454960223274]
  既存のビデオドメイン適応(DA)手法は、ビデオフレームの時間的組み合わせを全て格納するか、ソースとターゲットのビデオをペアにする必要がある。 本稿では,メモリ効率の高いグラフベースビデオDA手法を提案する。
  論文  参考訳（メタデータ） (2022-08-13T02:56:10Z)
• Deep Motion Prior for Weakly-Supervised Temporal Action Localization [35.25323276744999]
  Weakly-Supervised Temporal Action Localization (WSTAL) は、ビデオレベルのラベルだけで、未トリミングビデオ内のアクションをローカライズすることを目的としている。 現在、最先端のWSTALメソッドのほとんどは、Multi-Instance Learning (MIL)パイプラインに従っています。 既存の手法では,1)動作情報の不十分な使用,2)広汎なクロスエントロピートレーニング損失の相容れない2つの重要な欠点が指摘されている。
  論文  参考訳（メタデータ） (2021-08-12T08:51:36Z)
• Enhanced Quadratic Video Interpolation [56.54662568085176]
  より複雑なシーンや動きパターンを扱うために,拡張された2次ビデオ(EQVI)モデルを提案する。 さらなる性能向上のために,学習可能な拡張プロセスと見なせる新しいマルチスケール核融合ネットワーク(MS-Fusion)を考案した。 提案されたEQVIモデルは、AIM 2020 Video Temporal Super-Resolution Challengeで優勝した。
  論文  参考訳（メタデータ） (2020-09-10T02:31:50Z)
• Motion Guided 3D Pose Estimation from Videos [81.14443206968444]
  本研究では,2次元ポーズから1次元の人物ポーズ推定を行う問題に対して,運動損失と呼ばれる新たな損失関数を提案する。 運動損失の計算では、ペアワイズ・モーション・エンコーディング(ペアワイズ・モーション・エンコーディング)と呼ばれる単純なキーポイント・モーションの表現が導入された。 UGCN(U-shaped GCN)と呼ばれる新しいグラフ畳み込みネットワークアーキテクチャを設計し,短期および長期の動作情報の両方をキャプチャする。
  論文  参考訳（メタデータ） (2020-04-29T06:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。