論文の概要: Adaptive Future Frame Prediction with Ensemble Network

• arxiv url: http://arxiv.org/abs/2011.06788v2
• Date: Mon, 16 Nov 2020 01:43:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 00:10:37.269991
• Title: Adaptive Future Frame Prediction with Ensemble Network
• Title（参考訳）: アンサンブルネットワークを用いた適応的未来フレーム予測
• Authors: Wonjik Kim, Masayuki Tanaka, Masatoshi Okutomi, Yoko Sasaki
• Abstract要約: 本稿では,将来のフレーム予測タスクに適応的な更新フレームワークを提案する。 提案フレームワークは,事前学習した予測ネットワーク,連続更新予測ネットワーク,重み推定ネットワークから構成される。 我々のアプローチは、特に動的に変化するシーンにおいて、既存の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 15.19884183320726
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Future frame prediction in videos is a challenging problem because videos include complicated movements and large appearance changes. Learning-based future frame prediction approaches have been proposed in kinds of literature. A common limitation of the existing learning-based approaches is a mismatch of training data and test data. In the future frame prediction task, we can obtain the ground truth data by just waiting for a few frames. It means we can update the prediction model online in the test phase. Then, we propose an adaptive update framework for the future frame prediction task. The proposed adaptive updating framework consists of a pre-trained prediction network, a continuous-updating prediction network, and a weight estimation network. We also show that our pre-trained prediction model achieves comparable performance to the existing state-of-the-art approaches. We demonstrate that our approach outperforms existing methods especially for dynamically changing scenes.
• Abstract（参考訳）: ビデオのフレーム予測は、複雑な動きや大きな外見の変化を含むため、難しい問題である。 学習に基づく将来のフレーム予測手法が文献に提案されている。 既存の学習ベースのアプローチの一般的な制限は、トレーニングデータとテストデータのミスマッチである。 将来のフレーム予測タスクでは,数フレームを待つだけで,基礎的真理データを得ることができる。 つまり、テストフェーズで予測モデルをオンラインで更新できるということです。 次に,今後のフレーム予測タスクのための適応型更新フレームワークを提案する。 提案する適応更新フレームワークは,事前学習した予測ネットワーク,連続更新予測ネットワーク,重み推定ネットワークから構成される。 また,事前学習した予測モデルにより,既存の最先端手法に匹敵する性能が得られることを示す。 提案手法は,特に動的に変化するシーンにおいて,既存の手法よりも優れていることを示す。

関連論文リスト

• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• Conformal online model aggregation [29.43493007296859]
  本稿では,オンライン環境における共形モデルアグリゲーションへの新たなアプローチを提案する。 これは、過去の性能に基づいてモデルの重みが時間とともに適応される投票によって、いくつかのアルゴリズムの予測セットを組み合わせることに基づいている。
  論文  参考訳（メタデータ） (2024-03-22T15:40:06Z)
• Optimizing Video Prediction via Video Frame Interpolation [53.16726447796844]
  本稿では,映像フレームスケープのフォトリアリスティックな結果にインスパイアされた,映像フレームによる映像予測のための新しい最適化フレームワークを提案する。 我々のフレームワークは、トレーニングデータセットを必要とせずに、事前訓練された差別化可能なビデオフレームモジュールによる最適化に基づいている。 我々の手法は、大量のトレーニングデータや余分な意味情報を必要とする他のビデオ予測手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-27T17:03:46Z)
• Learning Future Object Prediction with a Spatiotemporal Detection Transformer [1.1543275835002982]
  我々は、未来のオブジェクトを直接出力するように検出変換器を訓練する。 既存のトランスフォーマーを2つの方法で拡張し、シーンダイナミクスをキャプチャします。 我々の最終アプローチは、力学を捉えることを学び、100ミリ秒の予測地平線をオラクルと同等に予測する。
  論文  参考訳（メタデータ） (2022-04-21T17:58:36Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• FitVid: Overfitting in Pixel-Level Video Prediction [117.59339756506142]
  われわれはFitVidという新しいアーキテクチャを導入し、一般的なベンチマークに厳しいオーバーフィッティングを行えるようにした。 FitVidは、4つの異なるメトリクスで4つの異なるビデオ予測ベンチマークで現在の最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2021-06-24T17:20:21Z)
• DFPN: Deformable Frame Prediction Network [10.885590093103344]
  タスク指向の暗黙動作モデリングと次のフレーム予測のための変形可能なフレーム予測ネットワーク(DFPN)を提案する。 実験結果から,提案したDFPNモデルが,次のフレーム予測において技術結果の状態を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-05-26T19:00:19Z)
• Revisiting Hierarchical Approach for Persistent Long-Term Video Prediction [55.4498466252522]
  従来の手法よりも桁違いに長い予測時間を持つビデオ予測の新しい標準を設定しました。 本手法は,まず意味構造列を推定し,その後,映像から映像への変換により,画素に翻訳することにより,将来的なフレームを予測する。 本手法は,自動車運転と人間のダンスに関する3つの課題データに基づいて評価し,非常に長い時間にわたって複雑なシーン構造と動きを生成できることを実証した。
  論文  参考訳（メタデータ） (2021-04-14T08:39:38Z)
• Video Prediction via Example Guidance [156.08546987158616]
  ビデオ予測タスクでは、将来のコンテンツとダイナミクスのマルチモーダルな性質を捉えることが大きな課題である。 本研究では,有効な将来状態の予測を効果的に行うための,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:57:24Z)
• Improved Speech Representations with Multi-Target Autoregressive Predictive Coding [23.424410568555547]
  我々は、将来のフレームを正確に予測できる隠された状態が、多くの下流タスクに有用な表現である、という仮説を拡張した。 本稿では、将来のフレーム予測タスクの一般化を改善するための正規化として機能する補助的目的を提案する。
  論文  参考訳（メタデータ） (2020-04-11T01:09:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。