論文の概要: Feature representations useful for predicting image memorability
- arxiv url: http://arxiv.org/abs/2303.07679v2
- Date: Mon, 17 Jul 2023 03:41:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 23:00:13.731088
- Title: Feature representations useful for predicting image memorability
- Title（参考訳）: 画像の記憶可能性予測に有用な特徴表現
- Authors: Takumi Harada, Hiroyuki Sakai
- Abstract要約: 脳の類似性を用いて,CNNモデルにおける記憶可能性関連特徴表現を同定する。
記憶力の予測精度が高い層は、下側頭葉(IT)皮質と脳の類似性が高かった。
記憶可能性予測のための64個のCNNモデルの微調整により, 記憶可能性予測精度に正の相関が認められた。
- 参考スコア（独自算出の注目度）: 0.13537117504260618
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prediction of image memorability has attracted interest in various fields.
Consequently, the prediction accuracy of convolutional neural network (CNN)
models has been approaching the empirical upper bound estimated based on human
consistency. However, identifying which feature representations embedded in CNN
models are responsible for the high memorability prediction accuracy remains an
open question. To tackle this problem, we sought to identify
memorability-related feature representations in CNN models using brain
similarity. Specifically, memorability prediction accuracy and brain similarity
were examined across 16,860 layers in 64 CNN models pretrained for object
recognition. A clear tendency was observed in this comprehensive analysis that
layers with high memorability prediction accuracy had higher brain similarity
with the inferior temporal (IT) cortex, which is the highest stage in the
ventral visual pathway. Furthermore, fine-tuning of the 64 CNN models for
memorability prediction revealed that brain similarity with the IT cortex at
the penultimate layer positively correlated with the memorability prediction
accuracy of the models. This analysis also showed that the best fine-tuned
model provided accuracy comparable to state-of-the-art CNN models developed for
memorability prediction. Overall, the results of this study indicated that the
CNN models' great success in predicting memorability relies on feature
representation acquisition, similar to the IT cortex. This study advances our
understanding of feature representations and their use in predicting image
memorability.
- Abstract（参考訳）: 画像記憶性の予測は様々な分野に注目されている。
その結果、畳み込みニューラルネットワーク(cnn)モデルの予測精度は、人間の一貫性に基づいて推定される経験的上限に近づいている。
しかし、CNNモデルに埋め込まれた特徴表現の特定は、高い記憶可能性予測精度の原因となっている。
そこで我々は,脳の類似性を利用したCNNモデルにおける記憶可能性関連特徴表現の同定を試みた。
具体的には,オブジェクト認識のために事前学習された64cnnモデルの16,860層にまたがる記憶可能性予測精度と脳の類似性を調べた。
この包括的分析では、高い記憶性予測精度を持つ層は、腹側視路の最も高い段階である下側頭葉(IT)皮質と脳の類似性が高いという明確な傾向が観察された。
さらに,記憶可能性予測のための64cnnモデルの微調整を行った結果,ペナルティメート層のit野と脳の類似性はモデルの記憶可能性予測精度と正の相関を示した。
この分析により、記憶可能性予測のために開発された最新のcnnモデルに匹敵する精度を最良に調整したモデルが得られた。
本研究の結果から,CNNモデルによる記憶可能性予測の成功は,IT大脳皮質と同様,特徴表現獲得に依存していることが明らかとなった。
本研究では,特徴表現の理解を深め,画像の記憶可能性を予測する。
関連論文リスト
- Cognitive Networks and Performance Drive fMRI-Based State Classification Using DNN Models [0.0]
我々は、個々の認知状態を分類するために、構造的に異なる2つのDNNモデルと相補的なDNNモデルを用いる。
アーキテクチャ上の違いにもかかわらず、両者のモデルが常に予測精度と個人の認知性能との間に堅牢な関係を生んでいることを示す。
論文 参考訳（メタデータ） (2024-08-14T15:25:51Z) - CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding [62.075029712357]
本研究は認知拡散確率モデル(CogDPM)を紹介する。
CogDPMは拡散モデルの階層的サンプリング能力に基づく精度推定法と拡散モデル固有の性質から推定される精度重み付きガイダンスを備える。
我々は,Universal Kindomの降水量と表面風速データセットを用いた実世界の予測タスクにCogDPMを適用した。
論文 参考訳（メタデータ） (2024-05-03T15:54:50Z) - NCTV: Neural Clamping Toolkit and Visualization for Neural Network
Calibration [66.22668336495175]
ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。
我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
論文 参考訳（メタデータ） (2022-11-29T15:03:05Z) - DeepDC: Deep Distance Correlation as a Perceptual Image Quality
Evaluator [53.57431705309919]
ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。
我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。
5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
論文 参考訳（メタデータ） (2022-11-09T14:57:27Z) - Improving Prediction of Cognitive Performance using Deep Neural Networks
in Sparse Data [2.867517731896504]
MIDUS(Midlife in the United States)の観察・コホート研究から得られたデータを用いて,エグゼクティブ機能とエピソード記憶測定をモデル化した。
ディープニューラルネットワーク(DNN)モデルは、認知パフォーマンス予測タスクの中で一貫して最高である。
論文 参考訳（メタデータ） (2021-12-28T22:23:08Z) - An Interaction-based Convolutional Neural Network (ICNN) Towards Better
Understanding of COVID-19 X-ray Images [0.0]
本稿では,局所情報の関連性を仮定しない対話型畳み込みニューラルネットワーク(ICNN)を提案する。
提案手法は、新型コロナウイルスのチェストX線画像を分類した実世界のデータセット上で、99.8%の最先端予測性能を実現する。
論文 参考訳（メタデータ） (2021-06-13T04:41:17Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳（メタデータ） (2020-10-18T16:55:25Z) - Investigation of REFINED CNN ensemble learning for anti-cancer drug
sensitivity prediction [0.0]
個々の細胞株に対するディープラーニングモデルを用いた抗がん剤感受性予測は、パーソナライズされた医療において重要な課題である。
ReFINED CNN(Convolutional Neural Network)ベースのモデルでは、薬物感受性の予測に有望な結果が示されている。
我々は,このようなマッピングから構築されたアンサンブルに基づいて,最高の1つのREFINED CNNモデル予測を改善することができる予測について検討する。
論文 参考訳（メタデータ） (2020-09-09T02:27:29Z) - A comprehensive study on the prediction reliability of graph neural
networks for virtual screening [0.0]
本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。
その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
論文 参考訳（メタデータ） (2020-03-17T10:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。