Fugu-MT 論文翻訳(概要): Diffusing Surrogate Dreams of Video Scenes to Predict Video Memorability

論文の概要: Diffusing Surrogate Dreams of Video Scenes to Predict Video Memorability

arxiv url: http://arxiv.org/abs/2212.09308v1
Date: Mon, 19 Dec 2022 09:10:23 GMT
ステータス: 処理完了
システム内更新日: 2022-12-20 15:11:01.899966
Title: Diffusing Surrogate Dreams of Video Scenes to Predict Video Memorability
Title（参考訳）: ビデオシーンのサロゲートドリームを拡散してビデオの記憶力を予測する
Authors: Lorin Sweeney and Graham Healy and Alan F. Smeaton
Abstract要約: 視覚的記憶可能性,その特徴を特徴付ける視覚的表現と,その視覚的表現によって表現される概念の関連について検討する。本研究では,サロゲートドリーム画像のみをトレーニングし,テストしたモデルを用いて,最先端の記憶可能性予測性能を実現する。
参考スコア（独自算出の注目度）: 2.7393821783237184
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As part of the MediaEval 2022 Predicting Video Memorability task we explore the relationship between visual memorability, the visual representation that characterises it, and the underlying concept portrayed by that visual representation. We achieve state-of-the-art memorability prediction performance with a model trained and tested exclusively on surrogate dream images, elevating concepts to the status of a cornerstone memorability feature, and finding strong evidence to suggest that the intrinsic memorability of visual content can be distilled to its underlying concept or meaning irrespective of its specific visual representational.
Abstract（参考訳）: mediaeval 2022 では,映像の記憶力を予測するタスクの一環として,映像の記憶力とそれを特徴付ける視覚表現と,その視覚表現によって表現される基本概念との関係について検討する。そこで本研究では,視覚コンテンツに固有の記憶能力が,視覚表現によらず,その基礎となる概念や意味に蒸留可能であることを示す強力な証拠を見いだし,サロゲート・ドリームイメージを専用に訓練,テストしたモデルを用いて,最先端の記憶可能性予測性能を実現する。

関連論文リスト

Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
論文参考訳（メタデータ） (2024-10-21T07:44:44Z)
When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
論文参考訳（メタデータ） (2024-10-14T17:59:58Z)
Knowledge-enhanced Multi-perspective Video Representation Learning for Scene Recognition [33.800842679024164]
我々は,映像シーン認識の課題に対処し,高レベルの映像表現を学習して映像シーンを分類することを目的とする。既存の作品の多くは、時間的視点で視覚情報やテキスト情報のみからビデオのシーンを識別している。複数の視点から映像表現をモデル化する新しい2ストリームフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-09T04:37:10Z)
Impressions: Understanding Visual Semiotics and Aesthetic Impact [66.40617566253404]
画像のセミオティックスを調べるための新しいデータセットであるImpressionsを提示する。既存のマルチモーダル画像キャプションと条件付き生成モデルは、画像に対する可視的応答をシミュレートするのに苦労していることを示す。このデータセットは、微調整と少数ショット適応により、画像の印象や美的評価をモデル化する能力を大幅に改善する。
論文参考訳（メタデータ） (2023-10-27T04:30:18Z)
Let's Think Frame by Frame with VIP: A Video Infilling and Prediction Dataset for Evaluating Video Chain-of-Thought [62.619076257298204]
我々は、少数のビデオ推論のシーケンシャルな理解として、フレーミングビデオ推論を動機付けている。 VIPは、ビデオチェーンオブ思考を通してモデルの推論能力を調べるために設計された、推論時の課題データセットである。我々は、VIP上でGPT-4、GPT-3、VICUNAをベンチマークし、複雑なビデオ推論タスクのパフォーマンスギャップを実証し、今後の作業を促進する。
論文参考訳（メタデータ） (2023-05-23T10:26:42Z)
How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。 Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。 Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
論文参考訳（メタデータ） (2022-10-18T17:58:25Z)
Learning Structured Representations of Visual Scenes [1.6244541005112747]
本研究では,機械が個々の画像や映像の内容と視覚的関係を構造化表現として記述する方法について検討する。具体的には,静的画像設定と映像設定の両方において,視覚シーンの構造的表現を効果的に構築し,学習する方法について検討する。
論文参考訳（メタデータ） (2022-07-09T05:40:08Z)
ArtEmis: Affective Language for Visual Art [46.643106054408285]
我々は視覚アートワークによって引き起こされる情緒体験に焦点を当てる。ある画像に対して感じている支配的な感情を示すために、注釈を付けます。これにより、目的コンテンツとイメージの感情的影響の両方に対して、リッチな信号セットが導かれる。
論文参考訳（メタデータ） (2021-01-19T01:03:40Z)
Memory-augmented Dense Predictive Coding for Video Representation Learning [103.69904379356413]
本稿では,新しいアーキテクチャと学習フレームワーク Memory-augmented Predictive Coding (MemDPC) を提案する。本稿では、RGBフレームからの視覚のみの自己教師付きビデオ表現学習や、教師なし光学フローからの学習、あるいはその両方について検討する。いずれの場合も、トレーニングデータの桁数が桁違いに少ない他のアプローチに対して、最先端または同等のパフォーマンスを示す。
論文参考訳（メタデータ） (2020-08-03T17:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。