論文の概要: Alignment of visual brain encoding models with individual perceptual similarity judgments

• arxiv url: http://arxiv.org/abs/2610.22569v2
• Date: Tue, 20 Oct 2026 15:17:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.219078
• Title: Alignment of visual brain encoding models with individual perceptual similarity judgments
• Title（参考訳）: 知覚的類似性判定を用いた視覚脳符号化モデルのアライメント
• Abstract要約: 我々は、表現を個人の類似性判断とよりよく整合させるために、脳の微調整モデルを構築することができるかどうか検討する。 ベースライン脳エンコーダは、測定されたfMRI応答よりも知覚的類似性を強く反映していることがわかった。 パーソナライズされた知覚類似性情報を用いた微調整は、人間の知覚類似性判断に最も適合したモデルをもたらす。
• 参考スコア（独自算出の注目度）: 15.024705054978178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Encoding models that predict brain activation responses to images have traditionally been trained to maximize accuracy when predicting observed brain data. However, their internal representations may not reflect individual human perception. In this work, we investigate whether we can fine-tune brain encoding models to better align their representations with individuals' similarity judgments. Using similarity judgments of 100 images from 8 participants in the Natural Scenes Dataset (NSD), we adapt a generic human similarity judgment model (DreamSim) separately for each participant to obtain personalized perceptual similarity models. These models are then used to obtain subject-specific similarity structure across images in their encoding model training sets. We fine-tune each participant's baseline encoder in two conditions, aligning its representations with either generic or personalized similarity judgments, with the same initialization and objective. We find that baseline brain encoders reflect within-subject perceptual similarity more strongly than measured fMRI responses and preserve intersubject correlations present in measured fMRI, but fail to reflect those of human perceptual similarity judgments. Fine-tuning with generic, population-level perceptual similarity information results in better alignment with human judgments than baseline encoders, but these models still fail to capture intersubject correlations of human judgments. However, fine-tuning with personalized perceptual similarity information results in models that are the most aligned with human perceptual similarity judgments and also reflect intersubject correlations of human judgments. Our framework provides an approach for bootstrapping human similarity judgment data into more individualized, human-aligned brain encoding models of vision.
• Abstract（参考訳）: 画像に対する脳の活性化反応を予測するエンコーディングモデルは、観察された脳データを予測する際の精度を最大化するために伝統的に訓練されてきた。 しかし、その内部表現は個々の人間の知覚を反映していないかもしれない。 そこで本研究では,脳のエンコーディングモデルを用いて,その表現と個人間の類似性判断をよりよく整合させることができるかを検討する。 NSD(Natural Scenes Dataset)の8人の被験者の100画像の類似性判定を用いて、各参加者に対して汎用的人間類似性判定モデル(DreamSim)を個別に適用し、パーソナライズされた知覚類似性モデルを得る。 これらのモデルは、その符号化モデルトレーニングセットにおいて、画像間の主観的類似性構造を得るために使用される。 各参加者のベースラインエンコーダを2つの条件で微調整し、その表現を汎用的またはパーソナライズされた類似性判断と、同じ初期化と目的とを一致させる。 ベースライン脳エンコーダは、測定されたfMRI応答よりも知覚的類似性を強く反映し、測定されたfMRIに存在する物体間相関を保っているが、人間の知覚的類似性判断を反映していない。 集団レベルの知覚的類似性情報による微調整は、ベースラインエンコーダよりも人間の判断との整合性が向上するが、これらのモデルは人間の判断の物体間相関を捉えることができない。 しかし、パーソナライズされた知覚類似性情報を用いた微調整は、人間の知覚類似性判断に最も適したモデルとなり、また、人間の判断のオブジェクト間相関を反映する。 われわれのフレームワークは、人間の類似性判定データを、より個別化された人間の脳の視覚モデルにブートストラップするアプローチを提供する。

関連論文リスト

• AlignFace: Human-Aligned Face Similarity Metric with Interpretable Concept Relations [13.228617286387887]
  我々は、FACETSデータセットを導入し、解釈可能なヒューマンアライメントの顔類似度指標であるAlignFaceを提案する。 実験の結果、AlignFaceは基準値と比較して人間のサブポピュレーション知覚との整合性を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2026-08-14T09:36:28Z)
• Human face perception reflects inverse-generative and naturalistic discriminative objectives [2.4126189670630733]
  ディープニューラルネットワークは人間の顔知覚に機械的仮説を提供する。 我々は、アーキテクチャを共有する6つのニューラルネットワークモデルを比較したが、異なるタスクで訓練した。 864人の被験者の顔相違判定に対するモデル予測を検証した。
  論文  参考訳（メタデータ） (2026-05-12T18:06:57Z)
• Human-level 3D shape perception emerges from multi-view learning [63.048728487674815]
  任意のオブジェクトに対する人間の3次元形状推論を予測するためのモデリングフレームワークを開発する。 我々は、自然主義的な知覚データよりも視覚空間的目的を用いて訓練された新しいニューラルネットワークのクラスでこれを達成した。 人間のレベル3D知覚は、自然主義的な視覚空間データよりもシンプルでスケーラブルな学習目標から生まれる可能性がある。
  論文  参考訳（メタデータ） (2026-02-19T18:56:05Z)
• Disentangling the Factors of Convergence between Brains and Computer Vision Models [11.560007214914465]
  我々は、人間中心の画像で訓練された最大のDINOv3モデルが、最も高い脳相似性に達することを示した。 これらの発見は、人工ニューラルネットワークが世界をどのように人間として見るかという、アーキテクチャと経験の間の相互作用を歪めている。
  論文  参考訳（メタデータ） (2025-08-25T17:23:27Z)
• When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
  視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。 モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。 その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Evaluating Multiview Object Consistency in Humans and Image Models [68.36073530804296]
  我々は、物体の形状に関するゼロショット視覚的推論を必要とする認知科学の実験的設計を活用する。 我々は500人以上の参加者から行動データの35万件の試行を収集した。 次に、一般的な視覚モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-09-09T17:59:13Z)
• Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
  人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
  論文  参考訳（メタデータ） (2024-03-29T07:16:34Z)
• A Linked Aggregate Code for Processing Faces (Revised Version) [0.0]
  顔表現のモデルは、顔の類似性の知覚に関する実験データと比較される。 以上の結果から,LACをベースとした類似度測定は,高次視覚領域における顔表現のさらなるモデリングの出発点となる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-09-17T13:29:25Z)
• Action similarity judgment based on kinematic primitives [48.99831733355487]
  運動学に基づく計算モデルが動作類似性を決定する範囲について検討する。 選択されたモデルは、発達ロボティクスにルーツを持ち、学習されたキネマティックプリミティブに基づいて行動分類を行う。 その結果, 動作類似性タスクにおいて, モデルと人的性能の双方が, 運動レベルの特徴に基づく精度が高いことがわかった。
  論文  参考訳（メタデータ） (2020-08-30T13:58:47Z)
• Visual stream connectivity predicts assessments of image quality [0.0]
  我々は、知覚的類似性判断の正確かつ説明的な説明を提供する微分幾何学を示す、類似性の心理物理学の新たな形式化を導出する。 予測は、人間の行動報告に対する単純な回帰によってさらに改善され、それによってより精巧な仮説化された神経接続パターンを構築するのに使用される。
  論文  参考訳（メタデータ） (2020-08-16T15:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。