論文の概要: Multimodal Neurons in Pretrained Text-Only Transformers

• arxiv url: http://arxiv.org/abs/2308.01544v1
• Date: Thu, 3 Aug 2023 05:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 15:17:05.427855
• Title: Multimodal Neurons in Pretrained Text-Only Transformers
• Title（参考訳）: テキストオンリートランスにおけるマルチモーダルニューロン
• Authors: Sarah Schwettmann, Neil Chowdhury, Antonio Torralba
• Abstract要約: 視覚表現を対応するテキストに変換する「マルチモーダルニューロン」を同定する。 マルチモーダルニューロンは入力を横断する特定の視覚概念で動作し、画像キャプションに系統的な因果効果を有することを示す。
• 参考スコア（独自算出の注目度）: 29.848899759728056
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Language models demonstrate remarkable capacity to generalize representations learned in one modality to downstream tasks in other modalities. Can we trace this ability to individual neurons? We study the case where a frozen text transformer is augmented with vision using a self-supervised visual encoder and a single linear projection learned on an image-to-text task. Outputs of the projection layer are not immediately decodable into language describing image content; instead, we find that translation between modalities occurs deeper within the transformer. We introduce a procedure for identifying "multimodal neurons" that convert visual representations into corresponding text, and decoding the concepts they inject into the model's residual stream. In a series of experiments, we show that multimodal neurons operate on specific visual concepts across inputs, and have a systematic causal effect on image captioning.
• Abstract（参考訳）: 言語モデルは、1つのモダリティで学んだ表現を他のモダリティで下流のタスクに一般化する能力を示す。 この能力を個々のニューロンに追跡できますか? 自己教師付き視覚エンコーダと、画像からテキストへのタスクで学習した1つの線形投影を用いて、凍結テキストトランスフォーマが視覚で拡張される場合について検討する。 プロジェクション層の出力は、画像内容を記述する言語に即座にデオード可能ではなく、変換器の内部でモダリティ間の変換がより深く発生する。 本稿では,視覚表現を対応するテキストに変換する「マルチモーダルニューロン」を同定し,モデルの残差ストリームに注入する概念を復号する手法を提案する。 一連の実験において、マルチモーダルニューロンは入力間の特定の視覚的概念で動作し、画像キャプションに系統的な因果効果を持つことを示す。

関連論文リスト

• Vision-Language Integration in Multimodal Video Transformers (Partially) Aligns with the Brain [5.496000639803771]
  本稿では,脳内のマルチモーダル情報処理の神経科学的証拠を活用することで,事前訓練したマルチモーダルビデオトランスフォーマーモデルを提案する。 視覚が言語処理中にマスキング予測性能を高めることの証拠が得られ、モデル内のクロスモーダル表現が個々のモダリティに有効であることを示す。 本研究では、視覚言語推論を必要とするタスクを用いて微調整を行うことにより、事前訓練された関節表現の脳アライメントを改善することができることを示す。
  論文  参考訳（メタデータ） (2023-11-13T21:32:37Z)
• DeViL: Decoding Vision features into Language [53.88202366696955]
  ポストホックな説明法は、ディープニューラルネットワークの意思決定プロセスを抽象化するためにしばしば批判されてきた。 この研究では、ビジョンバックボーンの異なるレイヤが学んだことについて、自然言語で記述したいと考えています。 我々は、トランスフォーマーネットワークをトレーニングし、任意の視覚層の個々の画像特徴を、分離した既製の言語モデルが自然言語に復号するプロンプトに変換する。
  論文  参考訳（メタデータ） (2023-09-04T13:59:55Z)
• A Multimodal Visual Encoding Model Aided by Introducing Verbal Semantic Information [5.142858130898767]
  従来の視覚符号化モデルは、生物学的発見と矛盾する言語意味情報を含まない。 本稿では,刺激画像と関連するテキスト情報に基づくマルチモーダル視覚情報符号化ネットワークモデルを提案する。 実験により,提案したマルチモーダル視覚情報符号化ネットワークモデルが従来モデルより優れていたことを示す。
  論文  参考訳（メタデータ） (2023-08-29T09:21:48Z)
• Brain encoding models based on multimodal transformers can transfer across language and vision [60.72020004771044]
  我々は、マルチモーダルトランスフォーマーの表現を用いて、fMRI応答を物語や映画に転送できるエンコーディングモデルを訓練した。 1つのモードに対する脳の反応に基づいて訓練された符号化モデルは、他のモードに対する脳の反応をうまく予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-20T17:38:44Z)
• BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
  我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。 将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:40:37Z)
• Universal Multimodal Representation for Language Understanding [110.98786673598015]
  本研究は,一般的なNLPタスクの補助信号として視覚情報を利用する新しい手法を提案する。 各文に対して、まず、既存の文-画像ペア上で抽出された軽トピック-画像検索テーブルから、フレキシブルな画像を検索する。 そして、テキストと画像はそれぞれトランスフォーマーエンコーダと畳み込みニューラルネットワークによって符号化される。
  論文  参考訳（メタデータ） (2023-01-09T13:54:11Z)
• Multi-Modal Masked Autoencoders for Medical Vision-and-Language Pre-Training [62.215025958347105]
  マルチモーダルマスク付きオートエンコーダを用いた自己教師型学習パラダイムを提案する。 我々は、ランダムにマスキングされた画像やテキストから欠落したピクセルやトークンを再構成することで、クロスモーダルなドメイン知識を学習する。
  論文  参考訳（メタデータ） (2022-09-15T07:26:43Z)
• Visio-Linguistic Brain Encoding [3.944020612420711]
  脳のエンコーディングにおける画像変換器とマルチモーダル変換器の有効性を体系的に検討した。 マルチモーダルトランスであるVisualBERTは,従来提案されていたシングルモードCNNよりも大幅に優れていた。 視覚言語モデルの優位性は、視覚領域で引き起こされる応答が言語処理によって暗黙的に影響を受けるかどうかという問題を提起する。
  論文  参考訳（メタデータ） (2022-04-18T11:28:18Z)
• Controlled Caption Generation for Images Through Adversarial Attacks [85.66266989600572]
  画像特徴抽出には畳み込みニューラルネットワーク(CNN)、キャプション生成にはリカレントニューラルネットワーク(RNN)が使用される。 特に、その後の再帰的ネットワークに供給される視覚エンコーダの隠蔽層に対する攻撃について検討する。 本稿では、CNNの内部表現を模倣したニューラルネットワークキャプションの逆例を作成するためのGANベースのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-07T07:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。