論文の概要: Feature representations useful for predicting image memorability
- arxiv url: http://arxiv.org/abs/2303.07679v1
- Date: Tue, 14 Mar 2023 07:42:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-15 16:09:25.536927
- Title: Feature representations useful for predicting image memorability
- Title（参考訳）: 画像の記憶可能性予測に有用な特徴表現
- Authors: Takumi Harada, Hiroyuki Sakai
- Abstract要約: そこで本研究では,脳類似性を用いたCNNモデルにおける記憶可能性関連特徴表現の同定を試みた。
記憶力の予測精度が高い層は、下側頭葉(IT)皮質と高い脳類似性を示した。
64CNNモデルの微調整により、IT皮質と脳の類似性が記憶可能性予測精度と正の相関があることが判明した。
- 参考スコア（独自算出の注目度）: 0.13537117504260618
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predicting image memorability has attracted interest in various fields.
Consequently, prediction accuracy with convolutional neural network (CNN)
models has been approaching the empirical upper bound estimated based on human
consistency. However, identifying which feature representations embedded in CNN
models are responsible for such high prediction accuracy of memorability
remains an open question. To tackle this problem, this study sought to identify
memorability-related feature representations in CNN models using brain
similarity. Specifically, memorability prediction accuracy and brain similarity
were examined and assessed by Brain-Score across 16,860 layers in 64 CNN models
pretrained for object recognition. A clear tendency was shown in this
comprehensive analysis that layers with high memorability prediction accuracy
had higher brain similarity with the inferior temporal (IT) cortex, which is
the highest stage in the ventral visual pathway. Furthermore, fine-tuning the
64 CNN models revealed that brain similarity with the IT cortex at the
penultimate layer was positively correlated with memorability prediction
accuracy. This analysis also showed that the best fine-tuned model provided
accuracy comparable to the state-of-the-art CNN models developed specifically
for memorability prediction. Overall, this study's results indicated that the
CNN models' great success in predicting memorability relies on feature
representation acquisition similar to the IT cortex. This study advanced our
understanding of feature representations and its use for predicting image
memorability.
- Abstract（参考訳）: 画像の記憶可能性の予測は様々な分野で関心を集めている。
その結果、畳み込みニューラルネットワーク(CNN)モデルによる予測精度は、人間の一貫性に基づいて推定された経験的上限に近づいている。
しかし、cnnモデルに埋め込まれた特徴表現の特定は、記憶可能性の予測精度の向上に寄与している。
そこで本研究では,脳類似性を用いたCNNモデルにおける記憶可能性関連特徴表現の同定を試みた。
具体的には,64種類のcnnモデルにおいて脳スコア16,860層にまたがって記憶力予測精度と脳の類似性を検討した。
この包括的分析では、記憶力の高い予測精度の高い層は、下側頭葉(it)皮質と脳の類似度が高いことが示され、これは心室視覚路の最高段階である。
さらに,64cnnモデルの微調整により,penultimate層におけるit野と脳の類似性は記憶可能性予測精度と正の相関を示した。
この分析により、最適な微調整モデルは、記憶可能性予測のために開発された最先端のcnnモデルに匹敵する精度を示した。
本研究の結果から,CNNモデルによる記憶可能性の予測は,IT大脳皮質に類似した特徴表現獲得に依存していることがわかった。
本研究は,特徴表現の理解と画像記憶可能性の予測に有用であることを示す。
関連論文リスト
- Cognitive Networks and Performance Drive fMRI-Based State Classification Using DNN Models [0.0]
我々は、個々の認知状態を分類するために、構造的に異なる2つのDNNモデルと相補的なDNNモデルを用いる。
アーキテクチャ上の違いにもかかわらず、両者のモデルが常に予測精度と個人の認知性能との間に堅牢な関係を生んでいることを示す。
論文 参考訳（メタデータ） (2024-08-14T15:25:51Z) - CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding [62.075029712357]
本研究は認知拡散確率モデル(CogDPM)を紹介する。
CogDPMは拡散モデルの階層的サンプリング能力に基づく精度推定法と拡散モデル固有の性質から推定される精度重み付きガイダンスを備える。
我々は,Universal Kindomの降水量と表面風速データセットを用いた実世界の予測タスクにCogDPMを適用した。
論文 参考訳（メタデータ） (2024-05-03T15:54:50Z) - NCTV: Neural Clamping Toolkit and Visualization for Neural Network
Calibration [66.22668336495175]
ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。
我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
論文 参考訳（メタデータ） (2022-11-29T15:03:05Z) - DeepDC: Deep Distance Correlation as a Perceptual Image Quality
Evaluator [53.57431705309919]
ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。
我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。
5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
論文 参考訳（メタデータ） (2022-11-09T14:57:27Z) - Improving Prediction of Cognitive Performance using Deep Neural Networks
in Sparse Data [2.867517731896504]
MIDUS(Midlife in the United States)の観察・コホート研究から得られたデータを用いて,エグゼクティブ機能とエピソード記憶測定をモデル化した。
ディープニューラルネットワーク(DNN)モデルは、認知パフォーマンス予測タスクの中で一貫して最高である。
論文 参考訳（メタデータ） (2021-12-28T22:23:08Z) - An Interaction-based Convolutional Neural Network (ICNN) Towards Better
Understanding of COVID-19 X-ray Images [0.0]
本稿では,局所情報の関連性を仮定しない対話型畳み込みニューラルネットワーク(ICNN)を提案する。
提案手法は、新型コロナウイルスのチェストX線画像を分類した実世界のデータセット上で、99.8%の最先端予測性能を実現する。
論文 参考訳（メタデータ） (2021-06-13T04:41:17Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳（メタデータ） (2020-10-18T16:55:25Z) - Investigation of REFINED CNN ensemble learning for anti-cancer drug
sensitivity prediction [0.0]
個々の細胞株に対するディープラーニングモデルを用いた抗がん剤感受性予測は、パーソナライズされた医療において重要な課題である。
ReFINED CNN(Convolutional Neural Network)ベースのモデルでは、薬物感受性の予測に有望な結果が示されている。
我々は,このようなマッピングから構築されたアンサンブルに基づいて,最高の1つのREFINED CNNモデル予測を改善することができる予測について検討する。
論文 参考訳（メタデータ） (2020-09-09T02:27:29Z) - A comprehensive study on the prediction reliability of graph neural
networks for virtual screening [0.0]
本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。
その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
論文 参考訳（メタデータ） (2020-03-17T10:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。