論文の概要: Less is More: Sparse Sampling for Dense Reaction Predictions

• arxiv url: http://arxiv.org/abs/2106.01764v1
• Date: Thu, 3 Jun 2021 11:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 16:08:00.866907
• Title: Less is More: Sparse Sampling for Dense Reaction Predictions
• Title（参考訳）: less is more: 密集した反応予測のためのスパースサンプリング
• Authors: Kezhou Lin and Xiaohan Wang and Zhedong Zheng and Linchao Zhu and Yi Yang
• Abstract要約: 本稿では,ビデオチャレンジからの2021Evoked Expressionを提案する。 本モデルでは,音声と画像の両モードを入力として,視聴者の感情変化を予測する。 提案手法は, 最終プライベートテストセットにおいて, ピアソンの相関スコア0.04430を達成した。
• 参考スコア（独自算出の注目度）: 60.005266111509435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Obtaining viewer responses from videos can be useful for creators and streaming platforms to analyze the video performance and improve the future user experience. In this report, we present our method for 2021 Evoked Expression from Videos Challenge. In particular, our model utilizes both audio and image modalities as inputs to predict emotion changes of viewers. To model long-range emotion changes, we use a GRU-based model to predict one sparse signal with 1Hz. We observe that the emotion changes are smooth. Therefore, the final dense prediction is obtained via linear interpolating the signal, which is robust to the prediction fluctuation. Albeit simple, the proposed method has achieved pearson's correlation score of 0.04430 on the final private test set.
• Abstract（参考訳）: ビデオから視聴者の反応を確認することは、クリエイターやストリーミングプラットフォームがビデオのパフォーマンスを分析し、将来のユーザー体験を改善するのに役立つ。 本報告では,ビデオチャレンジから2021年の表現を誘発する手法を提案する。 特に,音声と画像のモダリティを入力として利用し,視聴者の感情変化を予測する。 長距離感情変化をモデル化するために、GRUモデルを用いて1Hzのスパース信号を予測する。 私たちは感情の変化がスムーズであることを観察する。 したがって、最終的な密度予測は、予測変動に頑健な信号の線形補間によって得られる。 単純ではあるが,提案手法は最終プライベートテストセットにおいてピアソンの相関スコア0.04430を達成した。

関連論文リスト

• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• Motion and Context-Aware Audio-Visual Conditioned Video Prediction [58.9467115916639]
  視覚条件付き映像予測を動作モデルと外観モデルに分離する。 マルチモーダルモーション推定は、音声と動きの相関に基づいて将来の光の流れを予測する。 本研究では,グローバルな出現状況の減少に対処する文脈認識の改良を提案する。
  論文  参考訳（メタデータ） (2022-12-09T05:57:46Z)
• HARP: Autoregressive Latent Video Prediction with High-Fidelity Image Generator [90.74663948713615]
  我々は,高忠実度未来のフレームを予測可能な自己回帰遅延映像予測モデルを訓練する。 既存のモデルに最小限の修正を加えて高解像度(256x256)ビデオを作成する。
  論文  参考訳（メタデータ） (2022-09-15T08:41:57Z)
• Fourier-based Video Prediction through Relational Object Motion [28.502280038100167]
  ビデオ予測のタスクには, 深い再帰的アーキテクチャが適用されている。 本稿では、周波数領域のアプローチをビデオ予測に用い、異なるアプローチを提案する。 結果の予測は、シーンの観察されたダイナミクスと一致しており、ぼやけに苦しむことはない。
  論文  参考訳（メタデータ） (2021-10-12T10:43:05Z)
• Semantic Prediction: Which One Should Come First, Recognition or Prediction? [21.466783934830925]
  下流の主なタスクの1つは、シーンのセマンティックな構成を解釈し、意思決定にそれを使用することである。 事前学習されたビデオ予測と事前学習された意味抽出モデルを考えると、同じ結果を得るための主な方法は2つある。 ビデオ予測モデルとしてLFDTN(Local Frequency Domain Transformer Network)と,合成データセットと実データセットのセマンティック抽出モデルとしてU-Netを用いて,これらの構成について検討する。
  論文  参考訳（メタデータ） (2021-10-06T15:01:05Z)
• Novel View Video Prediction Using a Dual Representation [51.58657840049716]
  単一/複数ビューから入力されたビデオクリップのセットを考慮すれば,ネットワークは新たなビューからビデオを予測することができる。 提案手法では事前の知識は必要とせず,より広い角距離から最大45度まで映像を予測できる。 SSIMは26.1%、PSNRは13.6%、FVDスコアは60%向上した。
  論文  参考訳（メタデータ） (2021-06-07T20:41:33Z)
• Speech Prediction in Silent Videos using Variational Autoencoders [29.423462898526605]
  我々はサイレントビデオで音声を生成するモデルを提案する。 提案モデルは、繰り返しニューラルネットワークと変分深部生成モデルを組み合わせて、聴覚の条件分布を学習する。 標準ベンチマークに基づくGRIDデータセット上で,本モデルの性能を示す。
  論文  参考訳（メタデータ） (2020-11-14T17:09:03Z)
• Motion Prediction Using Temporal Inception Module [96.76721173517895]
  人間の動作を符号化するTIM(Temporal Inception Module)を提案する。 本フレームワークは,異なる入力長に対して異なるカーネルサイズを用いて,畳み込み層を用いて入力埋め込みを生成する。 標準的な動き予測ベンチマークデータセットであるHuman3.6MとCMUのモーションキャプチャデータセットの実験結果から,我々の手法は一貫して技術手法の状態を上回ります。
  論文  参考訳（メタデータ） (2020-10-06T20:26:01Z)
• Motion Segmentation using Frequency Domain Transformer Networks [29.998917158604694]
  本稿では,前景と背景を別々にモデル化することで,次のフレームを予測できる新しいエンドツーエンド学習アーキテクチャを提案する。 我々の手法は、ビデオラダーネットワークや予測ゲーテッドピラミドなど、広く使われているビデオ予測手法よりも優れた合成データが得られる。
  論文  参考訳（メタデータ） (2020-04-18T15:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。