論文の概要: What Makes a Face Look like a Hat: Decoupling Low-level and High-level Visual Properties with Image Triplets
- arxiv url: http://arxiv.org/abs/2409.02241v2
- Date: Thu, 12 Sep 2024 17:03:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 20:50:00.527054
- Title: What Makes a Face Look like a Hat: Decoupling Low-level and High-level Visual Properties with Image Triplets
- Title（参考訳）: 顔がハットのように見えるもの:画像トリプレットで低レベルと高レベルの視覚特性を分離する
- Authors: Maytus Piriyajitakonkij, Sirawaj Itthipuripat, Ian Ballard, Ioannis Pappas,
- Abstract要約: 本稿では,新しい刺激のセットにおいて,低レベルの視覚特性と高レベルの視覚特性を関連付ける手法を提案する。
刺激セット生成のためのアルゴリズムにより、視覚の流れの異なる表現が高レベルの認知行動にどのように影響するかを研究することができる。
- 参考スコア（独自算出の注目度）: 0.4850469728946422
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In visual decision making, high-level features, such as object categories, have a strong influence on choice. However, the impact of low-level features on behavior is less understood partly due to the high correlation between high- and low-level features in the stimuli presented (e.g., objects of the same category are more likely to share low-level features). To disentangle these effects, we propose a method that de-correlates low- and high-level visual properties in a novel set of stimuli. Our method uses two Convolutional Neural Networks (CNNs) as candidate models of the ventral visual stream: the CORnet-S that has high neural predictivity in high-level, IT-like responses and the VGG-16 that has high neural predictivity in low-level responses. Triplets (root, image1, image2) of stimuli are parametrized by the level of low- and high-level similarity of images extracted from the different layers. These stimuli are then used in a decision-making task where participants are tasked to choose the most similar-to-the-root image. We found that different networks show differing abilities to predict the effects of low-versus-high-level similarity: while CORnet-S outperforms VGG-16 in explaining human choices based on high-level similarity, VGG-16 outperforms CORnet-S in explaining human choices based on low-level similarity. Using Brain-Score, we observed that the behavioral prediction abilities of different layers of these networks qualitatively corresponded to their ability to explain neural activity at different levels of the visual hierarchy. In summary, our algorithm for stimulus set generation enables the study of how different representations in the visual stream affect high-level cognitive behaviors.
- Abstract（参考訳）: 視覚的意思決定において、オブジェクトカテゴリのような高レベルな特徴は、選択に強い影響を与える。
しかし, 刺激の高次特徴と低次特徴との間に高い相関関係があることから, 行動に対する低次特徴の影響は理解されていない(例えば, 同一カテゴリーの対象が低次特徴を共有する傾向が強い)。
これらの効果を抑えるために,新しい刺激のセットにおいて,低レベルの視覚特性と高レベルの視覚特性を区別する手法を提案する。
本手法では,2つの畳み込みニューラルネットワーク(CNN)を腹側視覚ストリームの候補モデルとして,高レベルのIT様応答における神経予測率の高いCORnet-Sと,低レベルの応答における神経予測率の高いVGG-16を用いる。
刺激のトリプレット(root, image1, image2)は、異なる層から抽出された画像の低レベル及び高レベルの類似度によってパラメータ化される。
これらの刺激は、参加者が最もよく似た画像を選択するように指示される意思決定タスクで使用される。
CORnet-Sは、高レベルの類似性に基づく人間の選択を説明するのに、VGG-16は低レベルの類似性に基づく人間の選択を説明するのに、VGG-SはCORnet-Sより優れています。
Brain-Scoreを用いて、これらのネットワークの異なる階層の行動予測能力は、視覚階層の異なるレベルでの神経活動を説明する能力と質的に一致することを示した。
まとめると、刺激セット生成のためのアルゴリズムは、視覚ストリーム内の異なる表現がハイレベルな認知行動にどのように影響するかの研究を可能にする。
関連論文リスト
- Brain Mapping with Dense Features: Grounding Cortical Semantic Selectivity in Natural Images With Vision Transformers [5.265058307999745]
本稿では,脳内視覚概念を分離するBrainSAILを紹介する。
BrainSAILは、事前訓練された視覚モデルから意味的に一貫性があり、密集した空間的特徴を利用する。
カテゴリー選択性のある大脳皮質領域におけるBrainSAILの評価を行った。
論文 参考訳（メタデータ） (2024-10-07T17:59:45Z) - Parallel Backpropagation for Shared-Feature Visualization [36.31730251757713]
最近の研究は、いくつかのカテゴリー外刺激が高レベルの視覚脳領域のニューロンを活性化することを示した。
これは、他の画像にもある好みのクラスに共通する視覚的特徴のためかもしれない。
本稿では,これらの特徴を可視化するためのディープラーニングに基づくアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-16T05:56:03Z) - Hierarchical Contrastive Learning Enhanced Heterogeneous Graph Neural
Network [59.860534520941485]
ヘテロジニアスグラフニューラルネットワーク(HGNN)は、異種情報ネットワーク(HIN)を扱う能力に優れていた。
近年,自己指導型学習は最もエキサイティングな学習パラダイムの1つとなり,ラベルがない場合に大きな可能性を示す。
本稿では,自己教師型HGNNの問題点を考察し,HGNNのための新しいコントラスト学習機構であるHeCoを提案する。
論文 参考訳（メタデータ） (2023-04-24T16:17:21Z) - Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。
この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
論文 参考訳（メタデータ） (2023-01-25T14:37:42Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳（メタデータ） (2023-01-03T20:57:22Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - Emotional EEG Classification using Connectivity Features and
Convolutional Neural Networks [81.74442855155843]
CNNと脳のつながりを利用した新しい分類システムを導入し,その効果を感情映像分類により検証する。
対象映像の感情的特性に関連する脳接続の集中度は分類性能と相関する。
論文 参考訳（メタデータ） (2021-01-18T13:28:08Z) - The Selectivity and Competition of the Mind's Eye in Visual Perception [8.411385346896411]
階層的競争の形で横方向と上下方向のフィードバックを組み込んだ,新しい計算モデルを構築した。
これらの要素が脳内の高レベル領域の情報フローと選択性を説明するのに役立つだけでなく、これらの神経機構が新しい分類枠組みの基礎となることも示している。
論文 参考訳（メタデータ） (2020-11-23T01:55:46Z) - Fooling the primate brain with minimal, targeted image manipulation [67.78919304747498]
本稿では、行動に反映される神経活動と知覚の両方の変化をもたらす、最小限の標的画像摂動を生成するための一連の手法を提案する。
我々の研究は、敵対的攻撃、すなわち最小限のターゲットノイズによる画像の操作で同じ目標を共有し、ANNモデルに画像の誤分類を誘導する。
論文 参考訳（メタデータ） (2020-11-11T08:30:54Z) - Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。
生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
論文 参考訳（メタデータ） (2020-07-20T18:04:14Z) - Seeing eye-to-eye? A comparison of object recognition performance in
humans and deep convolutional neural networks under image manipulation [0.0]
本研究では,ヒトとフィードフォワードニューラルネットワークの視覚コア物体認識性能の行動比較を目的とした。
精度分析の結果、人間はDCNNを全ての条件で上回るだけでなく、形状や色の変化に対する強い堅牢性も示している。
論文 参考訳（メタデータ） (2020-07-13T10:26:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。