論文の概要: Punctuation's Semantic Role between Brain and Transformers Models

• arxiv url: http://arxiv.org/abs/2501.06278v1
• Date: Fri, 10 Jan 2025 13:07:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 19:20:12.582489
• Title: Punctuation's Semantic Role between Brain and Transformers Models
• Title（参考訳）: 脳とトランスフォーマーモデルにおける触覚の意味的役割
• Authors: Zenon Lamprou, Frank Polick, Yashar Moshfeghi,
• Abstract要約: 脳活動に最も適合しているものを特定することを目的とした4つの新しいNLPモデルの評価を行った。 脳がテキストを意味的に理解する方法を探るため、句読点を除去してテキストを変更する。 以上の結果から,RoBERTaモデルが脳活動と最適に一致していることが示唆された。
• 参考スコア（独自算出の注目度）: 5.4141465747474475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contemporary neural networks intended for natural language processing (NLP) are not designed with specific linguistic rules. It suggests that they may acquire a general understanding of language. This attribute has led to extensive research in deciphering their internal representations. A pioneering method involves an experimental setup using human brain data to explore if a translation between brain and neural network representations can be established. Since this technique emerged, more sophisticated NLP models have been developed. In our study, we apply this method to evaluate four new NLP models aiming to identify the one most compatible with brain activity. Additionally, to explore how the brain comprehends text semantically, we alter the text by removing punctuation in four different ways to understand its impact on semantic processing by the human brain. Our findings indicate that the RoBERTa model aligns best with brain activity, outperforming BERT in accuracy according to our metrics. Furthermore, for BERT, higher accuracy was noted when punctuation was excluded, and increased context length did not significantly diminish accuracy compared to the original results with punctuation.
• Abstract（参考訳）: 自然言語処理(NLP)を意図した現代のニューラルネットワークは、特定の言語規則で設計されていない。 彼らは言語に対する一般的な理解を得るかもしれない。 この属性は、内部表現の解読に関する広範な研究につながった。 先駆的な方法は、人間の脳データを用いて実験的なセットアップを行い、脳とニューラルネットワークの表現の翻訳が確立できるかどうかを調べることである。 この技術が登場して以来、より洗練されたNLPモデルが開発されている。 本研究は,脳活動に最も適合しているものを特定することを目的とした4つの新しいNLPモデルを評価するために,本手法を適用した。 さらに、脳がテキストを意味的に理解する方法を探るため、人間の脳による意味処理への影響を理解するために、句読点を4つの異なる方法で除去することで、テキストを変更する。 以上の結果から,RoBERTaモデルが脳活動と最適に一致していることが示唆された。 さらに, BERTでは, 句読解時の精度が向上し, 文脈長の増大は, 句読解時の結果に比べて有意に低下しなかった。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Investigating the Timescales of Language Processing with EEG and Language Models [0.0]
  本研究では,事前学習した言語モデルと脳波データからの単語表現のアライメントを検討することで,言語処理の時間的ダイナミクスについて検討する。 テンポラル・レスポンス・ファンクション(TRF)モデルを用いて、神経活動が異なる層にまたがるモデル表現とどのように対応するかを検討する。 分析の結果,異なる層からのTRFのパターンが明らかとなり,語彙的および構成的処理への様々な貢献が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T12:49:27Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Injecting linguistic knowledge into BERT for Dialogue State Tracking [60.42231674887294]
  本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。 次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。 このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
  論文  参考訳（メタデータ） (2023-11-27T08:38:42Z)
• Tuning In to Neural Encoding: Linking Human Brain and Artificial Supervised Representations of Language [31.636016502455693]
  我々は,プロンプトチューニングを用いた8つの自然言語理解(NLU)タスクの教師付き表現を生成する。 従来の微調整よりも、中国の刺激に対する神経反応をより正確に予測する表現が、プロンプトチューニングによって得られることを示す。
  論文  参考訳（メタデータ） (2023-10-05T06:31:01Z)
• Coupling Artificial Neurons in BERT and Biological Neurons in the Human Brain [9.916033214833407]
  本研究は,トランスフォーマーに基づくNLPモデルと言語に対する神経活動をリンクする,新しい,汎用的で効果的なフレームワークを提案する。 実験の結果,(1)ANsとBNsの活性化は有意に同期し,(2)ANsは意味のある言語/意味情報を持ち,BNシグネチャにアンカーし,(3)アンカーされたBNは神経言語学的文脈で解釈可能であることがわかった。
  論文  参考訳（メタデータ） (2023-03-27T01:41:48Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
  自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。 我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
  論文  参考訳（メタデータ） (2023-01-16T10:31:25Z)
• Joint processing of linguistic properties in brains and language models [14.997785690790032]
  人間の脳と言語モデルによる言語情報の詳細な処理の対応について検討する。 特定の言語特性の除去は脳のアライメントを著しく低下させる。 これらの知見は、脳と言語モデルとの整合における特定の言語情報の役割の明確な証拠である。
  論文  参考訳（メタデータ） (2022-12-15T19:13:42Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• On Neurons Invariant to Sentence Structural Changes in Neural Machine Translation [35.32217580058933]
  我々は、英語で制御された構文的パラフレーズのデータセットを、その参照ドイツ語翻訳でコンパイルする。 パラフレーズ間で相関するニューロンを同定し、観察された相関関係を推定し、起こりうる相同点に分解する。 我々は、特定の構文形式への翻訳に影響を与えるためにニューロンの活性化を操作する。
  論文  参考訳（メタデータ） (2021-10-06T20:57:57Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Neural Language Models with Distant Supervision to Identify Major Depressive Disorder from Clinical Notes [2.1060613825447407]
  大うつ病 (Major depressive disorder, MDD) は、世界中で深刻な医療負担を伴う精神疾患である。 近年、Bidirectional Representations for Transformers (BERT) モデルなどのニューラルネットワークモデルが進歩し、最先端のニューラルネットワークモデルが生まれた。 臨床ノートからMDD表現型を同定するために,遠隔監視パラダイムでニューラルネットワークモデルを活用することを提案する。
  論文  参考訳（メタデータ） (2021-04-19T21:11:41Z)
• Does injecting linguistic structure into language models lead to better alignment with brain recordings? [13.880819301385854]
  言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。 提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
  論文  参考訳（メタデータ） (2021-01-29T14:42:02Z)
• Learning identifiable and interpretable latent models of high-dimensional neural activity using pi-VAE [10.529943544385585]
  本稿では,潜在モデルと従来のニューラルエンコーディングモデルから重要な要素を統合する手法を提案する。 我々の手法であるpi-VAEは、同定可能な変分自動エンコーダの最近の進歩にインスパイアされている。 人工データを用いてpi-VAEを検証し,それをラット海馬およびマカク運動野の神経生理学的データセットの解析に応用した。
  論文  参考訳（メタデータ） (2020-11-09T22:00:38Z)
• To BERT or Not To BERT: Comparing Speech and Language-based Approaches for Alzheimer's Disease Detection [17.99855227184379]
  自然言語処理と機械学習はアルツハイマー病(AD)を確実に検出するための有望な技術を提供する 最近のADReSSチャレンジデータセットにおいて、AD検出のための2つのアプローチのパフォーマンスを比較し、比較する。 認知障害検出における言語学の重要性を考えると,細調整BERTモデルはAD検出タスクにおいて特徴に基づくアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2020-07-26T04:50:47Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。