論文の概要: Fine-tuned vs. Prompt-tuned Supervised Representations: Which Better
Account for Brain Language Representations?
- arxiv url: http://arxiv.org/abs/2310.01854v1
- Date: Tue, 3 Oct 2023 07:34:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 17:06:04.909465
- Title: Fine-tuned vs. Prompt-tuned Supervised Representations: Which Better
Account for Brain Language Representations?
- Title（参考訳）: 微調整 vs. Prompt-tuned Supervised Representations:どの脳言語表現が優れているか?
- Authors: Jingyuan Sun and Marie-Francine Moens
- Abstract要約: 我々は、ニューラルデコーディングにおいて、プロンプト調整された表現と微調整された表現を比較した。
より脳に一貫性のあるチューニング手法では、脳データと相関する表現が得られます。
これは、私たちの脳が浅い構文情報よりもきめ細かい概念情報を符号化していることを示している。
- 参考スコア（独自算出の注目度）: 30.495681024162835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To decipher the algorithm underlying the human brain's language
representation, previous work probed brain responses to language input with
pre-trained artificial neural network (ANN) models fine-tuned on NLU tasks.
However, full fine-tuning generally updates the entire parametric space and
distorts pre-trained features, cognitively inconsistent with the brain's robust
multi-task learning ability. Prompt-tuning, in contrast, protects pre-trained
weights and learns task-specific embeddings to fit a task. Could prompt-tuning
generate representations that better account for the brain's language
representations than fine-tuning? If so, what kind of NLU task leads a
pre-trained model to better decode the information represented in the human
brain? We investigate these questions by comparing prompt-tuned and fine-tuned
representations in neural decoding, that is predicting the linguistic stimulus
from the brain activities evoked by the stimulus. We find that on none of the
10 NLU tasks, full fine-tuning significantly outperforms prompt-tuning in
neural decoding, implicating that a more brain-consistent tuning method yields
representations that better correlate with brain data. Moreover, we identify
that tasks dealing with fine-grained concept meaning yield representations that
better decode brain activation patterns than other tasks, especially the
syntactic chunking task. This indicates that our brain encodes more
fine-grained concept information than shallow syntactic information when
representing languages.
- Abstract（参考訳）: 人間の脳の言語表現の根底にあるアルゴリズムを解読するために、以前の研究は、NLUタスクに基づいて微調整された人工知能ニューラルネットワーク(ANN)モデルを用いて言語入力に対する脳反応を探索した。
しかし、完全な微調整は一般にパラメトリック空間全体を更新し、事前訓練された特徴を歪め、脳の堅牢なマルチタスク学習能力と認知的に矛盾する。
対照的に、プロンプトチューニングはトレーニング済みの重みを保護し、タスクに合うようにタスク固有の埋め込みを学ぶ。
プロンプトチューニングは、微調整よりも脳の言語表現をよりよく説明できる表現を生成するか?
もしそうなら、人間の脳で表現された情報をより良くデコードするために、事前訓練されたモデルにどんなnluタスクを導くのか?
そこで本研究では,神経デコードにおいて,刺激によって誘発される脳活動から言語的刺激を予測する即応的および微調整された表現を比較検討する。
10個のNLUタスクのうち、完全な微調整は、ニューラルデコードにおける迅速なチューニングよりもはるかに優れており、より脳に一貫性のあるチューニング手法が脳データと相関する表現を生み出すことが示唆されている。
さらに,細粒度の概念を扱うタスクは,他のタスク,特に構文的なチャンキングタスクよりも,脳の活性化パターンをよりよくデコードする表現を産出する。
これは、言語を表現する際の浅い構文情報よりも、脳がよりきめ細かい概念情報をエンコードしていることを示している。
関連論文リスト
- Improving semantic understanding in speech language models via brain-tuning [19.732593005537606]
言語モデルは、人間の脳の自然言語に対する反応と驚くほど一致している。
現在のモデルは低レベルの音声機能に大きく依存しており、脳関連セマンティクスが欠如していることを示している。
我々は、fMRI記録による微調整により、脳関連バイアスを直接モデルに誘導することで、この制限に対処する。
論文 参考訳（メタデータ） (2024-10-11T20:06:21Z) - Investigating the Encoding of Words in BERT's Neurons using Feature
Textualization [11.943486282441143]
本稿では,埋め込み語空間におけるニューロンの表現を生成する手法を提案する。
生成した表現は、個々のニューロンにおける符号化された知識についての洞察を与えることができる。
論文 参考訳（メタデータ） (2023-11-14T15:21:49Z) - Tuning In to Neural Encoding: Linking Human Brain and Artificial
Supervised Representations of Language [31.636016502455693]
我々は,プロンプトチューニングを用いた8つの自然言語理解(NLU)タスクの教師付き表現を生成する。
従来の微調整よりも、中国の刺激に対する神経反応をより正確に予測する表現が、プロンプトチューニングによって得られることを示す。
論文 参考訳（メタデータ） (2023-10-05T06:31:01Z) - Probing Brain Context-Sensitivity with Masked-Attention Generation [87.31930367845125]
我々は、GPT-2変換器を用いて、一定量の文脈情報をキャプチャする単語埋め込みを生成する。
そして、自然主義的なテキストを聴く人間のfMRI脳活動を予測することができるかどうかを検証した。
論文 参考訳（メタデータ） (2023-05-23T09:36:21Z) - BrainBERT: Self-supervised representation learning for intracranial
recordings [18.52962864519609]
我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。
NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。
将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
論文 参考訳（メタデータ） (2023-02-28T07:40:37Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳（メタデータ） (2022-07-07T15:37:17Z) - Toward a realistic model of speech processing in the brain with
self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。
We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文 参考訳（メタデータ） (2022-06-03T17:01:46Z) - Neural Language Taskonomy: Which NLP Tasks are the most Predictive of
fMRI Brain Activity? [3.186888145772382]
人気のTransformerベースの言語モデルは、テキスト駆動型ブレインエンコーディングで成功している。
本研究では,10種類の自然言語処理タスクで学習した表現からの伝達学習について検討する。
10のタスク表現にまたがる実験は、以下の認知的洞察を提供する。
論文 参考訳（メタデータ） (2022-05-03T10:23:08Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳（メタデータ） (2022-01-14T14:54:58Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。