論文の概要: Generating Memorable Images Based on Human Visual Memory Schemas

• arxiv url: http://arxiv.org/abs/2005.02969v1
• Date: Wed, 6 May 2020 17:23:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 05:50:52.223628
• Title: Generating Memorable Images Based on Human Visual Memory Schemas
• Title（参考訳）: 人間の視覚記憶スキーマに基づく記憶可能な画像の生成
• Authors: Cameron Kyle-Davidson, Adrian G. Bors, Karla K. Evans
• Abstract要約: 本研究では,GAN(Generative Adversarial Networks)を用いて,記憶に残る場面や記憶できない場面の画像を生成することを提案する。 生成した画像の記憶性は、人間の観察者がイメージをメモリにエンコードするために使用する精神的表現に対応する視覚記憶(VMS)をモデル化することによって評価される。
• 参考スコア（独自算出の注目度）: 9.986390874391095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research study proposes using Generative Adversarial Networks (GAN) that incorporate a two-dimensional measure of human memorability to generate memorable or non-memorable images of scenes. The memorability of the generated images is evaluated by modelling Visual Memory Schemas (VMS), which correspond to mental representations that human observers use to encode an image into memory. The VMS model is based upon the results of memory experiments conducted on human observers, and provides a 2D map of memorability. We impose a memorability constraint upon the latent space of a GAN by employing a VMS map prediction model as an auxiliary loss. We assess the difference in memorability between images generated to be memorable or non-memorable through an independent computational measure of memorability, and additionally assess the effect of memorability on the realness of the generated images.
• Abstract（参考訳）: 本研究では,人間の記憶可能性の2次元尺度を組み込んだGAN(Generative Adversarial Networks)を用いて,記憶不能あるいは記憶不能なシーン画像を生成することを提案する。 生成した画像の記憶性は、人間の観察者がイメージをメモリにエンコードするために使用する心的表現に対応する視覚記憶スキーマ(VMS)をモデル化することによって評価される。 VMSモデルは、人間の観測者によるメモリ実験の結果に基づいており、記憶可能性の2Dマップを提供する。 補助損失としてVMSマップ予測モデルを用いて,GANの潜伏空間に記憶可能性制約を課す。 記憶可能画像と記憶不能画像の相違を,独立計算による記憶可能画像と記憶不能画像の相違を評価するとともに,記憶可能画像が実感に与える影響を評価する。

関連論文リスト

• Modeling Visual Memorability Assessment with Autoencoders Reveals Characteristics of Memorable Images [2.4861619769660637]
  画像記憶可能性(英: Image memorability)とは、ある画像が他の画像よりも記憶されやすい現象である。 VGG16畳み込みニューラルネットワーク(CNN)に基づくオートエンコーダを用いた視覚記憶の主観的体験をモデル化した。 我々は,記憶可能性と復元誤差の関係について検討し,空間表現の特異性を評価するとともに,記憶可能性の予測を目的としたGRUモデルを開発した。
  論文  参考訳（メタデータ） (2024-10-19T22:58:33Z)
• When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
  視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。 モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。 その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Mind-to-Image: Projecting Visual Mental Imagination of the Brain from fMRI [36.181302575642306]
  視覚的想像力の再構築は、潜在的に革命的なアプリケーションにおいて、より大きな課題をもたらす。 私たちは初めて、視覚画像に関するかなりのデータセット(約6hのスキャン)をコンパイルしました。 我々は、fMRI-to-imageモデルの修正版を訓練し、2つのイマジネーションのモードから画像の再構成が可能であることを実証する。
  論文  参考訳（メタデータ） (2024-04-08T12:46:39Z)
• Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
  人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
  論文  参考訳（メタデータ） (2024-03-29T07:16:34Z)
• Decoding Realistic Images from Brain Activity with Contrastive Self-supervision and Latent Diffusion [29.335943994256052]
  ヒトの脳活動から視覚刺激を再構築することは、脳の視覚系を理解する上で有望な機会となる。 機能的磁気共鳴イメージング(fMRI)記録から現実的な画像をデコードする2相フレームワークContrast and Diffuse(CnD)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T09:15:22Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding [0.0]
  MinD-Vis:Double-Conditioned Latent Diffusion Model for Human Vision Decodingを提案する。 我々はMinD-Visが、非常に少ないペアアノテーションを用いて、脳の記録から意味的に一致する詳細を再現できることを示す。
  論文  参考訳（メタデータ） (2022-11-13T17:04:05Z)
• A domain adaptive deep learning solution for scanpath prediction of paintings [66.46953851227454]
  本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。 我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。 提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
  論文  参考訳（メタデータ） (2022-09-22T22:27:08Z)
• HM4: Hidden Markov Model with Memory Management for Visual Place Recognition [54.051025148533554]
  自律運転における視覚的位置認識のための隠れマルコフモデルを提案する。 我々のアルゴリズムはHM$4$と呼ばれ、時間的ルックアヘッドを利用して、有望な候補画像をパッシブストレージとアクティブメモリ間で転送する。 固定被覆領域に対して一定の時間と空間推定が可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-01T08:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。