論文の概要: What Makes Linguistic Representations Good Models of High-Level Visual Perception in the Human Brain?

• arxiv url: http://arxiv.org/abs/2607.16214v1
• Date: Fri, 22 May 2026 16:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.036417
• Title: What Makes Linguistic Representations Good Models of High-Level Visual Perception in the Human Brain?
• Title（参考訳）: 言語表現が人間の脳における高レベル視覚知覚を良いモデルにする理由は何か?
• Abstract要約: 画像がどのように記述され、どの言語モデルが埋め込みに使用されるかを検討した。 画像キャプションの内容とそれらの表現に用いられるLMは,脳と行動モデリングのパフォーマンスに影響を及ぼすことがわかった。
• 参考スコア（独自算出の注目度）: 27.868453876654286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image descriptions represented with language models (LMs) predict human brain responses to naturalistic images in high-level visual regions, but the factors driving this predictivity remain unclear. To investigate this, we systematically studied how images are described and which language models are used to embed those descriptions. For a common set of images, we considered six caption types -- including human-annotated and multiple machine-generated captions -- differing along several dimensions. Each caption was represented with five LMs, spanning autoregressive LMs trained to predict upcoming words and text embedders, i.e., LMs fine-tuned on semantic tasks requiring sentence/document-level representations. Machine-generated captions yielded significant brain predictivity and alignment, often surpassing human-annotated captions used in previous work. Across caption types, text embedders consistently outperformed autoregressive LMs, a pattern replicated when measuring behavioural alignment with image-similarity judgments. Analyses of caption representations from different model layers further revealed that both brain predictivity and behavioural alignment peak at intermediate network depth, shortly after a point thought to mark the emergence of syntactic and semantic structure. Altogether, our results demonstrate that both the content of image captions and the LM used to represent them influence brain- and behaviour-modelling performance, establishing caption embeddings as a useful tool for studying high-level visual perception.
• Abstract（参考訳）: 言語モデル(LM)で表現された画像記述は、高レベルの視覚領域における自然な画像に対する人間の脳反応を予測するが、この予測を導く要因はいまだ不明である。 そこで我々は,画像の表現方法と,それらの記述を埋め込むための言語モデルについて,体系的に検討した。 画像の共通セットとして,人間の注釈と複数の機械生成キャプションを含む6種類のキャプションが,複数の次元で異なることを検討した。 各キャプションは5つのLMで表現され、次の単語やテキスト埋め込みを予測するために訓練された自己回帰型LM、すなわち文/文書レベルの表現を必要とするセマンティックタスクに微調整されたLMにまたがった。 機械が生成したキャプションは脳の予測とアライメントを著しく向上させ、しばしば以前の研究で使われた人間の注釈付きキャプションを上回った。 字幕タイプ全体にわたって、テキスト埋め込みは、画像類似性判定と行動アライメントを測定する際に複製されたパターンである自己回帰的LMよりも一貫して優れていた。 異なるモデル層からのキャプション表現の解析により、中間ネットワーク深度における脳の予測と行動的アライメントピークの両方が、構文的・意味的構造の出現を示すと考えられる点のすぐ後に明らかになった。 また、画像キャプションの内容と、それらを表現するために使用されるLMの内容が脳と行動モデリングのパフォーマンスに影響を与え、高次視覚知覚研究の有用なツールとしてキャプション埋め込みを確立した。

関連論文リスト

• Visual Instruction-Finetuned Language Model for Versatile Brain MR Image Tasks [1.4770902450080214]
  LLaBIT(Large Language Model for Brain Image Translation)は、LLMの視覚的推論を脳MRI領域における臨床的に意味のあるタスクに拡張する。 本手法は4つの異なるタスクにわたる5つの脳MRIデータセットで評価する。 我々のモデルは、全てのタスクに対して優れた性能を示すだけでなく、直接比較において、専門的なタスク特化モデルよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-03T05:39:47Z)
• The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping [1.5767445615203355]
  ビジュアル・イコニシティ・チャレンジ(Visual Iconicity Challenge)は、視覚言語モデルを評価するための心理言語学的尺度である。 オランダの手話におけるゼロおよび少数ショット設定において,13の最先端のVLMを評価した。 より強い音韻形式予測モデルでは、人間の象徴性判断と相関する。
  論文  参考訳（メタデータ） (2025-10-09T17:21:59Z)
• Modelling Multimodal Integration in Human Concept Processing with Vision-Language Models [7.511284868070148]
  視覚言語情報の統合が、人間の脳活動とより整合した表現に繋がるかどうかを考察する。 ヒト脳活性化予測におけるマルチモーダルモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-07-25T10:08:37Z)
• Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
  病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。 その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-03-21T17:58:56Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• DeViL: Decoding Vision features into Language [53.88202366696955]
  ポストホックな説明法は、ディープニューラルネットワークの意思決定プロセスを抽象化するためにしばしば批判されてきた。 この研究では、ビジョンバックボーンの異なるレイヤが学んだことについて、自然言語で記述したいと考えています。 我々は、トランスフォーマーネットワークをトレーニングし、任意の視覚層の個々の画像特徴を、分離した既製の言語モデルが自然言語に復号するプロンプトに変換する。
  論文  参考訳（メタデータ） (2023-09-04T13:59:55Z)
• Universal Multimodal Representation for Language Understanding [110.98786673598015]
  本研究は,一般的なNLPタスクの補助信号として視覚情報を利用する新しい手法を提案する。 各文に対して、まず、既存の文-画像ペア上で抽出された軽トピック-画像検索テーブルから、フレキシブルな画像を検索する。 そして、テキストと画像はそれぞれトランスフォーマーエンコーダと畳み込みニューラルネットワークによって符号化される。
  論文  参考訳（メタデータ） (2023-01-09T13:54:11Z)
• Linearly Mapping from Image to Text Space [22.290431852705662]
  テキストのみのモデルで学習した概念表現は、視覚タスクで学習したモデルと機能的に等価であることを示す。 3つの画像エンコーダと事前訓練中に見られる言語指導量の増大を比較した。 3つのエンコーダはいずれも、視覚特性情報を言語モデルに転送する際にも等しく機能することがわかった。
  論文  参考訳（メタデータ） (2022-09-30T01:17:18Z)
• Visual representations in the human brain are aligned with large language models [7.779248296336383]
  大規模言語モデル(LLM)は,脳が自然界から抽出した複雑な視覚情報をモデル化するのに有用であることを示す。 次に、画像入力をLLM表現に変換するために、ディープニューラルネットワークモデルを訓練する。
  論文  参考訳（メタデータ） (2022-09-23T17:34:33Z)
• Evaluating language-biased image classification based on semantic representations [13.508894957080777]
  人間は、画像-ワード干渉として知られる単語埋め込み画像に対して、言語バイアスの画像認識を示す。 人間と同様、最近の人工モデルはテキストや画像、例えばOpenAI CLIPで共同で訓練されており、言語バイアスの画像分類を示している。
  論文  参考訳（メタデータ） (2022-01-26T15:46:36Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)
• Neuro-Symbolic Representations for Video Captioning: A Case for Leveraging Inductive Biases for Vision and Language [148.0843278195794]
  ビデオキャプションのためのマルチモーダルなニューラルシンボリック表現を学習するための新しいモデルアーキテクチャを提案する。 本手法では,ビデオ間の関係を学習する辞書学習手法と,そのペアによるテキスト記述を用いる。
  論文  参考訳（メタデータ） (2020-11-18T20:21:19Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。