論文の概要: Aligned with LLM: a new multi-modal training paradigm for encoding fMRI
activity in visual cortex
- arxiv url: http://arxiv.org/abs/2401.03851v1
- Date: Mon, 8 Jan 2024 12:30:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 16:47:16.220613
- Title: Aligned with LLM: a new multi-modal training paradigm for encoding fMRI
activity in visual cortex
- Title（参考訳）: 視覚野におけるfMRI活動の符号化のための新しいマルチモーダルトレーニングパラダイム LLM の配向
- Authors: Shuxiao Ma, Linyuan Wang, Senbao Hou, Bin Yan
- Abstract要約: 近年,事前訓練された大規模言語モデル(LLM)の人気が高まっている。
本稿では,視覚野のfMRI活性を符号化し,LLMと整合した新しいマルチモーダルトレーニングパラダイムを提案する。
- 参考スコア（独自算出の注目度）: 4.57590454144072
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, there has been a surge in the popularity of pre trained large
language models (LLMs) (such as GPT-4), sweeping across the entire Natural
Language Processing (NLP) and Computer Vision (CV) communities. These LLMs have
demonstrated advanced multi-modal understanding capabilities and showcased
strong performance across various benchmarks. The LLM has started to embody
traits of artificial general intelligence, which holds vital guidance for
enhancing brain-like characteristics within visual encoding models. Hence, This
paper proposes a new multi-modal training paradigm, aligning with LLM, for
encoding fMRI activity in visual cortex. Based on this paradigm, we trained an
encoding model in fMRI data named the LLM-Visual Encoding Model (LLM-VEM).
Specifically, we utilize LLM (miniGPT4) to generate descriptive text for all
stimulus images, forming a high-quality textual description set. Moreover, we
use the pre-trained text encoder (CLIP) to process these detailed descriptions,
obtaining the text embedding features. Next, we use the contrast loss function
to minimize the distance between the image embedding features and the text
embedding features to complete the alignment operation of the stimulus image
and text information. With the assistance of the pre-trained LLM, this
alignment process facilitates better learning of the visual encoding model,
resulting in higher precision. The final experimental results indicate that our
training paradigm has significantly aided in enhancing the performance of the
visual encoding model.
- Abstract（参考訳）: 近年,NLP(Natural Language Processing)とCV(Computer Vision)コミュニティ全体にわたって,事前訓練された大規模言語モデル(LLM)(GPT-4など)の人気が高まっている。
これらのLSMは高度なマルチモーダル理解能力を示し、様々なベンチマークで高い性能を示した。
llmは、視覚エンコーディングモデルにおける脳のような特性を強化するための重要なガイダンスを持つ、人工知能の特徴を具現化し始めた。
そこで本研究では,視覚野のfMRI活性を符号化するためのマルチモーダルトレーニングパラダイムを提案する。
このパラダイムに基づいて,LLM-Visual Encoding Model (LLM-VEM) というfMRIデータの符号化モデルを訓練した。
具体的には、LLM(miniGPT4)を用いて、すべての刺激画像に対して記述テキストを生成し、高品質なテキスト記述セットを形成する。
さらに,事前学習されたテキストエンコーダ(clip)を用いて,これらの詳細な記述を処理し,テキスト埋め込み機能を得る。
次に、コントラスト損失関数を用いて画像埋め込み特徴とテキスト埋め込み特徴との間の距離を最小化し、刺激画像とテキスト情報のアライメント操作を完了させる。
事前学習されたLLMの助けを借りて、このアライメントプロセスは視覚的エンコーディングモデルのより良い学習を容易にし、より高い精度を実現する。
最終実験の結果から,我々の学習パラダイムは,視覚エンコーディングモデルの性能向上に大きく寄与したことが示唆された。
関連論文リスト
- TS-LLaVA: Constructing Visual Tokens through Thumbnail-and-Sampling for Training-Free Video Large Language Models [52.590072198551944]
近年の多モーダル言語モデル(LLM)の進歩は,多モーダルな内容を理解する上で大きな成功を収めている。
ビデオ理解タスクでは、高品質でキュレートされたビデオテキストペアリングデータの不足により、トレーニングベースのビデオLLMの構築が困難である。
本研究では,トレーニングフリーのビデオ LLM 構築における既存の圧縮戦略の限界について検討する。
論文 参考訳（メタデータ） (2024-11-17T13:08:29Z) - PIP-MM: Pre-Integrating Prompt Information into Visual Encoding via Existing MLLM Structures [5.513631883813244]
既存のMLLMのモジュールを用いて,textbfPre-textbfIntegratestextbfPromptを視覚符号化プロセスに組み込むフレームワークを提案する。
我々のモデルは、視覚トークンの半分を減らしても優れた世代を維持している。
論文 参考訳（メタデータ） (2024-10-30T15:05:17Z) - Instruction Tuning-free Visual Token Complement for Multimodal LLMs [51.138806401996696]
マルチモーダルな大言語モデル(MLLM)は、視覚と言語の間のエレガントな橋渡しを約束している。
本稿では,MLLM が欠落した視覚機能を取り戻すのに役立つ Visual Token Complement フレームワーク (VTC) を提案する。
我々のVTCは、テキスト不関連特徴を特定するためのガイドとしてテキスト・ツー・イメージ生成を統合し、視覚的セレクタを開発し、補完的な視覚的トークンを生成する。
論文 参考訳（メタデータ） (2024-08-09T12:13:01Z) - Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。
具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。
MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
論文 参考訳（メタデータ） (2024-03-29T16:26:20Z) - Enhancing Visual Document Understanding with Contrastive Learning in
Large Visual-Language Models [56.76307866160105]
文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。
DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。
提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
論文 参考訳（メタデータ） (2024-02-29T10:17:27Z) - Frozen Transformers in Language Models Are Effective Visual Encoder Layers [26.759544759745648]
大きな言語モデル(LLM)は、言語がないときに純粋に視覚的なタスクに対して驚くほど強力なエンコーダである。
我々の研究は、コンピュータビジョンタスクにLLMを活用することの限界を推し進めている。
視覚符号化における事前学習LLMの有効性を説明するために,情報フィルタリング仮説を提案する。
論文 参考訳（メタデータ） (2023-10-19T17:59:05Z) - GPT4Image: Can Large Pre-trained Models Help Vision Models on Perception
Tasks? [51.22096780511165]
本稿では,大規模な事前学習モデルから抽出した知識を利用して,CNN や ViT などのモデルが拡張表現を学習するのを支援する新しい学習パラダイムを提案する。
我々は、詳細な記述を事前訓練されたエンコーダに入力し、画像の内容をエンコードするリッチなセマンティック情報でテキスト埋め込みを抽出する。
論文 参考訳（メタデータ） (2023-06-01T14:02:45Z) - LLM-CXR: Instruction-Finetuned LLM for CXR Image Understanding and Generation [51.08810811457617]
LLMにおける視覚言語アライメントは、マルチモーダル推論とビジュアルIOを可能にするために活発に研究されている。
医用画像の視覚言語能力を得るために,テキストのみにLLMを指導する手法を開発した。
このアプローチで訓練したLLM-CXRは,CXR理解タスクと生成タスクの両方において,より優れた画像テキストアライメントを示す。
論文 参考訳（メタデータ） (2023-05-19T07:44:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。