論文の概要: Generating Memorable Images Based on Human Visual Memory Schemas
- arxiv url: http://arxiv.org/abs/2005.02969v1
- Date: Wed, 6 May 2020 17:23:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 05:50:52.223628
- Title: Generating Memorable Images Based on Human Visual Memory Schemas
- Title(参考訳): 人間の視覚記憶スキーマに基づく記憶可能な画像の生成
- Authors: Cameron Kyle-Davidson, Adrian G. Bors, Karla K. Evans
- Abstract要約: 本研究では,GAN(Generative Adversarial Networks)を用いて,記憶に残る場面や記憶できない場面の画像を生成することを提案する。
生成した画像の記憶性は、人間の観察者がイメージをメモリにエンコードするために使用する精神的表現に対応する視覚記憶(VMS)をモデル化することによって評価される。
- 参考スコア(独自算出の注目度): 9.986390874391095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This research study proposes using Generative Adversarial Networks (GAN) that
incorporate a two-dimensional measure of human memorability to generate
memorable or non-memorable images of scenes. The memorability of the generated
images is evaluated by modelling Visual Memory Schemas (VMS), which correspond
to mental representations that human observers use to encode an image into
memory. The VMS model is based upon the results of memory experiments conducted
on human observers, and provides a 2D map of memorability. We impose a
memorability constraint upon the latent space of a GAN by employing a VMS map
prediction model as an auxiliary loss. We assess the difference in memorability
between images generated to be memorable or non-memorable through an
independent computational measure of memorability, and additionally assess the
effect of memorability on the realness of the generated images.
- Abstract(参考訳): 本研究では,人間の記憶可能性の2次元尺度を組み込んだGAN(Generative Adversarial Networks)を用いて,記憶不能あるいは記憶不能なシーン画像を生成することを提案する。
生成した画像の記憶性は、人間の観察者がイメージをメモリにエンコードするために使用する心的表現に対応する視覚記憶スキーマ(VMS)をモデル化することによって評価される。
VMSモデルは、人間の観測者によるメモリ実験の結果に基づいており、記憶可能性の2Dマップを提供する。
補助損失としてVMSマップ予測モデルを用いて,GANの潜伏空間に記憶可能性制約を課す。
記憶可能画像と記憶不能画像の相違を,独立計算による記憶可能画像と記憶不能画像の相違を評価するとともに,記憶可能画像が実感に与える影響を評価する。
関連論文リスト
- Decoding Realistic Images from Brain Activity with Contrastive
Self-supervision and Latent Diffusion [29.335943994256052]
ヒトの脳活動から視覚刺激を再構築することは、脳の視覚系を理解する上で有望な機会となる。
機能的磁気共鳴イメージング(fMRI)記録から現実的な画像をデコードする2相フレームワークContrast and Diffuse(CnD)を提案する。
論文 参考訳(メタデータ) (2023-09-30T09:15:22Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳(メタデータ) (2023-05-17T11:36:40Z) - Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。
既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。
我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
論文 参考訳(メタデータ) (2023-04-11T12:12:05Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - From seeing to remembering: Images with harder-to-reconstruct
representations leave stronger memory traces [4.012995481864761]
本稿では,画像の特徴埋め込みを圧縮するためのスパース符号化モデルを提案する。
シーン画像のオープンな記憶可能性データセットにおいて、再構成誤差は記憶精度だけでなく、検索中の応答遅延も説明し、後者の場合、強力な視覚のみのモデルによって説明されるすべての分散が説明されることを示す。
論文 参考訳(メタデータ) (2023-02-21T01:40:32Z) - Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked
Modeling for Vision Decoding [0.0]
MinD-Vis:Double-Conditioned Latent Diffusion Model for Human Vision Decodingを提案する。
我々はMinD-Visが、非常に少ないペアアノテーションを用いて、脳の記録から意味的に一致する詳細を再現できることを示す。
論文 参考訳(メタデータ) (2022-11-13T17:04:05Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳(メタデータ) (2022-09-22T22:27:08Z) - Associative Memories via Predictive Coding [37.59398215921529]
脳内の連想記憶は感覚ニューロンによって登録された活動パターンを受信し、記憶する。
本稿では,知覚ニューロンを介して外部刺激を受ける階層的生成ネットワークに基づいて,連想記憶を実現する新しいニューラルモデルを提案する。
論文 参考訳(メタデータ) (2021-09-16T15:46:26Z) - HM4: Hidden Markov Model with Memory Management for Visual Place
Recognition [54.051025148533554]
自律運転における視覚的位置認識のための隠れマルコフモデルを提案する。
我々のアルゴリズムはHM$4$と呼ばれ、時間的ルックアヘッドを利用して、有望な候補画像をパッシブストレージとアクティブメモリ間で転送する。
固定被覆領域に対して一定の時間と空間推定が可能であることを示す。
論文 参考訳(メタデータ) (2020-11-01T08:49:24Z) - Object-Centric Image Generation from Layouts [93.10217725729468]
複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。
本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。
本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
論文 参考訳(メタデータ) (2020-03-16T21:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。