論文の概要: Modeling Visual Memorability Assessment with Autoencoders Reveals Characteristics of Memorable Images

• arxiv url: http://arxiv.org/abs/2410.15235v1
• Date: Sat, 19 Oct 2024 22:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:18:46.618931
• Title: Modeling Visual Memorability Assessment with Autoencoders Reveals Characteristics of Memorable Images
• Title（参考訳）: オートエンコーダによる記憶可能画像の特性評価のモデル化
• Authors: Elham Bagheri, Yalda Mohsenzadeh,
• Abstract要約: 画像記憶可能性(英: Image memorability)とは、ある画像が他の画像よりも記憶されやすい現象である。 VGG16畳み込みニューラルネットワーク(CNN)に基づくオートエンコーダを用いた視覚記憶の主観的体験をモデル化した。 我々は,記憶可能性と復元誤差の関係について検討し,空間表現の特異性を評価するとともに,記憶可能性の予測を目的としたGRUモデルを開発した。
• 参考スコア（独自算出の注目度）: 2.4861619769660637
• License:
• Abstract: Background: Image memorability refers to the phenomenon where certain images are more likely to be remembered than others. It is a quantifiable and intrinsic image attribute, defined as the likelihood of being remembered upon a single exposure. Despite advances in understanding human visual perception and memory, it is unclear what features contribute to an image's memorability. To address this question, we propose a deep learning-based computational modeling approach. Methods: We modeled the subjective experience of visual memorability using an autoencoder based on VGG16 Convolutional Neural Networks (CNNs). The model was trained on images for one epoch, to simulate the single-exposure condition used in human memory tests. We investigated the relationship between memorability and reconstruction error, assessed latent space representations distinctiveness, and developed a Gated Recurrent Unit (GRU) model to predict memorability likelihood. Interpretability analysis was conducted to identify key image characteristics contributing to memorability. Results: Our results demonstrate a significant correlation between the images memorability score and autoencoder's reconstruction error, and the robust predictive performance of its latent representations. Distinctiveness in these representations correlated significantly with memorability. Additionally, certain visual characteristics, such as strong contrasts, distinctive objects, and prominent foreground elements were among the features contributing to image memorability in our model. Conclusions: Images with unique features that challenge the autoencoder's capacity are inherently more memorable. Moreover, these memorable images are distinct from others the model has encountered, and the latent space of the encoder contains features predictive of memorability.
• Abstract（参考訳）: 背景: 画像記憶可能性とは、ある画像が他の画像よりも記憶されやすい現象を指す。 これは、単一の露光で記憶される可能性として定義される、定量で固有の画像属性である。 人間の視覚知覚と記憶の理解の進歩にもかかわらず、画像の記憶可能性にどのような特徴が寄与するかは明らかになっていない。 そこで本研究では,ディープラーニングに基づく計算モデリング手法を提案する。 方法: VGG16 Convolutional Neural Networks (CNNs) に基づくオートエンコーダを用いた視覚記憶の主観的体験をモデル化した。 このモデルは、人間の記憶テストで使用される単一露光条件をシミュレートするために、1つのエポック画像に基づいて訓練された。 我々は,記憶可能性と復元誤差の関係について検討し,空間表現の特異性を評価するとともに,記憶可能性の予測を目的としたGRUモデルを開発した。 記憶可能性に寄与する重要な画像の特徴を特定するために,解釈可能性分析を行った。 結果: 画像の記憶可能性スコアとオートエンコーダの再構成誤差と, その潜在表現の頑健な予測性能との間に有意な相関が認められた。 これらの表現の識別性は記憶可能性と大きく相関した。 さらに,強いコントラスト,特徴的な物体,顕著な前景要素などの視覚的特徴が,我々のモデルにおける画像の記憶可能性に寄与する特徴であった。 結論: オートエンコーダのキャパシティに挑戦するユニークな特徴を持つ画像は、本質的に記憶に残るものです。 さらに、これらの記憶可能な画像は、モデルが遭遇した他のものとは異なっており、エンコーダの潜在空間には、記憶可能性の予測的な特徴が含まれている。

関連論文リスト

• When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
  視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。 モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。 その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• ArtVLM: Attribute Recognition Through Vision-Based Prefix Language Modeling [32.55352435358949]
  属性認識のための文生成に基づく検索定式化を提案する。 画像上で認識される各属性に対して、短い文を生成する視覚条件付き確率を測定する。 生成的検索が2つの視覚的推論データセットのコントラスト的検索を一貫して上回ることを示す実験を通して実証する。
  論文  参考訳（メタデータ） (2024-08-07T21:44:29Z)
• Counterfactual Image Editing [54.21104691749547]
  対物画像編集は、生成AIにおいて重要なタスクであり、ある機能が異なる場合、画像がどのように見えるかを尋ねる。 本稿では,形式言語を用いた対物画像編集タスクを形式化し,潜在生成因子と画像の因果関係をモデル化する。 ニューラル因果モデルを利用して、対物画像を生成する効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-07T20:55:39Z)
• Anomaly Score: Evaluating Generative Models and Individual Generated Images based on Complexity and Vulnerability [21.355484227864466]
  生成した画像の表現空間と入力空間の関係について検討する。 異常スコア(AS)と呼ばれる画像生成モデルを評価するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-12-17T07:33:06Z)
• Attribute-Aware Deep Hashing with Self-Consistency for Large-Scale Fine-Grained Image Retrieval [65.43522019468976]
  本稿では属性認識ハッシュコードを生成するための自己整合性を持つ属性認識ハッシュネットワークを提案する。 本研究では,高レベル属性固有ベクトルを教師なしで蒸留する再構成タスクのエンコーダ・デコーダ構造ネットワークを開発する。 我々のモデルは,これらの属性ベクトルに特徴デコリレーション制約を設けて,それらの代表的能力を強化する。
  論文  参考訳（メタデータ） (2023-11-21T08:20:38Z)
• Cross-Image Attention for Zero-Shot Appearance Transfer [68.43651329067393]
  画像間の意味的対応を暗黙的に確立するクロスイメージアテンション機構を導入する。 ノイズの多い潜在コードを操作する3つのメカニズムと、デノナイジングプロセスを通してモデルの内部表現を利用する。 実験により,本手法は多種多様な対象カテゴリに対して有効であり,形状,大きさ,視点の変動に頑健であることが示された。
  論文  参考訳（メタデータ） (2023-11-06T18:33:24Z)
• Reconstruction-guided attention improves the robustness and shape processing of neural networks [5.156484100374057]
  オブジェクト再構成を生成する反復エンコーダデコーダネットワークを構築し,トップダウンの注目フィードバックとして利用する。 本モデルでは,様々な画像摂動に対して強い一般化性能を示す。 本研究は、再構成に基づくフィードバックのモデリングが、強力な注意機構を持つAIシステムを実現することを示す。
  論文  参考訳（メタデータ） (2022-09-27T18:32:22Z)
• A domain adaptive deep learning solution for scanpath prediction of paintings [66.46953851227454]
  本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。 我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。 提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
  論文  参考訳（メタデータ） (2022-09-22T22:27:08Z)
• Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
  ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。 以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
  論文  参考訳（メタデータ） (2022-07-25T17:58:16Z)
• Associative Memories via Predictive Coding [37.59398215921529]
  脳内の連想記憶は感覚ニューロンによって登録された活動パターンを受信し、記憶する。 本稿では,知覚ニューロンを介して外部刺激を受ける階層的生成ネットワークに基づいて,連想記憶を実現する新しいニューラルモデルを提案する。
  論文  参考訳（メタデータ） (2021-09-16T15:46:26Z)
• Generating Memorable Images Based on Human Visual Memory Schemas [9.986390874391095]
  本研究では,GAN(Generative Adversarial Networks)を用いて,記憶に残る場面や記憶できない場面の画像を生成することを提案する。 生成した画像の記憶性は、人間の観察者がイメージをメモリにエンコードするために使用する精神的表現に対応する視覚記憶(VMS)をモデル化することによって評価される。
  論文  参考訳（メタデータ） (2020-05-06T17:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。