論文の概要: Direct Motion Models for Assessing Generated Videos

• arxiv url: http://arxiv.org/abs/2505.00209v1
• Date: Wed, 30 Apr 2025 22:34:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.183549
• Title: Direct Motion Models for Assessing Generated Videos
• Title（参考訳）: 映像の映像評価のための直接動作モデル
• Authors: Kelsey Allen, Carl Doersch, Guangyao Zhou, Mohammed Suhail, Danny Driess, Ignacio Rocco, Yulia Rubanova, Thomas Kipf, Mehdi S. M. Sajjadi, Kevin Murphy, Joao Carreira, Sjoerd van Steenkiste,
• Abstract要約: ビデオ生成ビデオモデルの現在の制限は、可視的に見えるフレームを生成するが、動きが貧弱であることである。 ここでは、妥当な物体の相互作用と動きをよりよく測定する指標を開発することで、FVDを超えていく。 画素再構成や動作認識の代わりに点線を用いると、合成データの時間歪みに顕著に敏感な測定結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 38.04485796547767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A current limitation of video generative video models is that they generate plausible looking frames, but poor motion -- an issue that is not well captured by FVD and other popular methods for evaluating generated videos. Here we go beyond FVD by developing a metric which better measures plausible object interactions and motion. Our novel approach is based on auto-encoding point tracks and yields motion features that can be used to not only compare distributions of videos (as few as one generated and one ground truth, or as many as two datasets), but also for evaluating motion of single videos. We show that using point tracks instead of pixel reconstruction or action recognition features results in a metric which is markedly more sensitive to temporal distortions in synthetic data, and can predict human evaluations of temporal consistency and realism in generated videos obtained from open-source models better than a wide range of alternatives. We also show that by using a point track representation, we can spatiotemporally localize generative video inconsistencies, providing extra interpretability of generated video errors relative to prior work. An overview of the results and link to the code can be found on the project page: http://trajan-paper.github.io.
• Abstract（参考訳）: ビデオ生成ビデオモデルの現在の制限は、可視性のあるフレームを生成するが、動きが悪いことだ。 ここでは、妥当な物体の相互作用と動きをよりよく測定する指標を開発することで、FVDを超えていく。 我々の新しいアプローチは、自動符号化ポイントトラックに基づいており、動画の分布を比較するだけでなく、単一の動画の運動を評価するためにも使用できる。 画素再構成や行動認識機能の代わりに点線を用いると、合成データの時間的歪みに顕著に敏感な測定結果が得られ、オープンソースモデルから得られた生成ビデオにおける時間的一貫性とリアリズムの人為的評価が、幅広い選択肢よりも優れていることを示す。 また、ポイントトラック表現を用いることで、生成的ビデオの不整合を時空間的に局所化し、前処理と比較して生成されたビデオエラーを余分に解釈できることを示す。 結果の概要とコードへのリンクは、プロジェクトのページにある。

関連論文リスト

• SG-I2V: Self-Guided Trajectory Control in Image-to-Video Generation [22.693060144042196]
  画像からビデオへ生成する方法は、印象的な、写真リアリスティックな品質を実現した。 オブジェクトの動きやカメラの動きなど、生成されたビデオの特定の要素を調整することは、しばしば試行錯誤の面倒なプロセスである。 最近の技術は、事前訓練されたモデルを微調整することでこの問題に対処している。 本稿では,自己誘導画像生成のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-07T18:56:11Z)
• Fine-gained Zero-shot Video Sampling [21.42513407755273]
  我々は,$mathcalZS2$と表記されるZero-Shotビデオサンプリングアルゴリズムを提案する。 $mathcalZS2$は、トレーニングや最適化なしに高品質のビデオクリップを直接サンプリングすることができる。 ゼロショットビデオ生成における最先端のパフォーマンスを達成し、時々最新の教師付き手法よりも優れる。
  論文  参考訳（メタデータ） (2024-07-31T09:36:58Z)
• Fréchet Video Motion Distance: A Metric for Evaluating Motion Consistency in Videos [13.368981834953981]
  映像生成における動きの整合性を評価することを目的としたFr'echet Video Motion Distanceメトリックを提案する。 具体的には、キーポイント追跡に基づく明示的な動作特徴を設計し、Fr'echet距離を用いてこれらの特徴間の類似度を測定する。 我々は大規模な人間の研究を行い、我々の測定値が時間的ノイズを効果的に検出し、既存の測定値よりも生成された映像品質の人間の知覚とよく一致していることを示す。
  論文  参考訳（メタデータ） (2024-07-23T02:10:50Z)
• VGMShield: Mitigating Misuse of Video Generative Models [7.963591895964269]
  VGMShieldは、フェイクビデオ生成のライフサイクルを通じて、単純だが先駆的な3つの緩和セットである。 まず、生成されたビデオにユニークさがあるかどうか、そしてそれらを実際のビデオと区別できるかどうかを理解する。 そこで本研究では,偽動画を生成モデルにマッピングするテクトニクス問題について検討する。
  論文  参考訳（メタデータ） (2024-02-20T16:39:23Z)
• STREAM: Spatio-TempoRal Evaluation and Analysis Metric for Video Generative Models [6.855409699832414]
  ビデオ生成モデルは、短いビデオクリップを生成するのに苦労する。 現在のビデオ評価メトリクスは、埋め込みをビデオ埋め込みネットワークに切り替えることによって、画像メトリクスの単純な適応である。 本稿では,空間的側面と時間的側面を独立に評価するために一意に設計された新しいビデオ評価指標STREAMを提案する。
  論文  参考訳（メタデータ） (2024-01-30T08:18:20Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction [93.26613503521664]
  本稿では、生成遷移と予測に焦点をあてた、短時間から長期のビデオ拡散モデルSEINEを提案する。 テキスト記述に基づく遷移を自動的に生成するランダムマスクビデオ拡散モデルを提案する。 我々のモデルは、コヒーレンスと視覚的品質を保証するトランジションビデオを生成する。
  論文  参考訳（メタデータ） (2023-10-31T17:58:17Z)
• JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting [53.28477676794658]
  ビデオにおける教師なしの動作は ディープ・ニューラル・ネットワークによって 大幅に進歩しました JOKR(Joint Keypoint Representation)は、オブジェクトの事前やデータ収集を必要とせずに、ソースとターゲットのビデオの両方を処理する。 本手法は質的かつ定量的に評価し,異なる動物,異なる花,人間など,さまざまなクロスドメインシナリオを扱うことを示す。
  論文  参考訳（メタデータ） (2021-06-17T17:32:32Z)
• A Good Image Generator Is What You Need for High-Resolution Video Synthesis [73.82857768949651]
  現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。 我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。 本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
  論文  参考訳（メタデータ） (2021-04-30T15:38:41Z)
• TransMoMo: Invariance-Driven Unsupervised Video Motion Retargeting [107.39743751292028]
  TransMoMoは、ソースビデオ中の人の動きを、ターゲットの別のビデオに現実的に転送することができる。 動き, 構造, ビューアングルを含む3つの要因の不変性を利用する。 本研究では,最先端手法に対する提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-03-31T17:49:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。