論文の概要: Punctuation's Semantic Role between Brain and Transformers Models

• arxiv url: http://arxiv.org/abs/2501.06278v1
• Date: Fri, 10 Jan 2025 13:07:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:28:32.316387
• Title: Punctuation's Semantic Role between Brain and Transformers Models
• Title（参考訳）: 脳とトランスフォーマーモデルにおける触覚の意味的役割
• Authors: Zenon Lamprou, Frank Polick, Yashar Moshfeghi,
• Abstract要約: 脳活動に最も適合しているものを特定することを目的とした4つの新しいNLPモデルの評価を行った。 脳がテキストを意味的に理解する方法を探るため、句読点を除去してテキストを変更する。 以上の結果から,RoBERTaモデルが脳活動と最適に一致していることが示唆された。
• 参考スコア（独自算出の注目度）: 5.4141465747474475
• License:
• Abstract: Contemporary neural networks intended for natural language processing (NLP) are not designed with specific linguistic rules. It suggests that they may acquire a general understanding of language. This attribute has led to extensive research in deciphering their internal representations. A pioneering method involves an experimental setup using human brain data to explore if a translation between brain and neural network representations can be established. Since this technique emerged, more sophisticated NLP models have been developed. In our study, we apply this method to evaluate four new NLP models aiming to identify the one most compatible with brain activity. Additionally, to explore how the brain comprehends text semantically, we alter the text by removing punctuation in four different ways to understand its impact on semantic processing by the human brain. Our findings indicate that the RoBERTa model aligns best with brain activity, outperforming BERT in accuracy according to our metrics. Furthermore, for BERT, higher accuracy was noted when punctuation was excluded, and increased context length did not significantly diminish accuracy compared to the original results with punctuation.
• Abstract（参考訳）: 自然言語処理(NLP)を意図した現代のニューラルネットワークは、特定の言語規則で設計されていない。 彼らは言語に対する一般的な理解を得るかもしれない。 この属性は、内部表現の解読に関する広範な研究につながった。 先駆的な方法は、人間の脳データを用いて実験的なセットアップを行い、脳とニューラルネットワークの表現の翻訳が確立できるかどうかを調べることである。 この技術が登場して以来、より洗練されたNLPモデルが開発されている。 本研究は,脳活動に最も適合しているものを特定することを目的とした4つの新しいNLPモデルを評価するために,本手法を適用した。 さらに、脳がテキストを意味的に理解する方法を探るため、人間の脳による意味処理への影響を理解するために、句読点を4つの異なる方法で除去することで、テキストを変更する。 以上の結果から,RoBERTaモデルが脳活動と最適に一致していることが示唆された。 さらに, BERTでは, 句読解時の精度が向上し, 文脈長の増大は, 句読解時の結果に比べて有意に低下しなかった。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Investigating the Timescales of Language Processing with EEG and Language Models [0.0]
  本研究では,事前学習した言語モデルと脳波データからの単語表現のアライメントを検討することで,言語処理の時間的ダイナミクスについて検討する。 テンポラル・レスポンス・ファンクション(TRF)モデルを用いて、神経活動が異なる層にまたがるモデル表現とどのように対応するかを検討する。 分析の結果,異なる層からのTRFのパターンが明らかとなり,語彙的および構成的処理への様々な貢献が明らかになった。
  論文  参考訳（メタデータ） (2024-06-28T12:49:27Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Injecting linguistic knowledge into BERT for Dialogue State Tracking [60.42231674887294]
  本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。 次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。 このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
  論文  参考訳（メタデータ） (2023-11-27T08:38:42Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• On Neurons Invariant to Sentence Structural Changes in Neural Machine Translation [35.32217580058933]
  我々は、英語で制御された構文的パラフレーズのデータセットを、その参照ドイツ語翻訳でコンパイルする。 パラフレーズ間で相関するニューロンを同定し、観察された相関関係を推定し、起こりうる相同点に分解する。 我々は、特定の構文形式への翻訳に影響を与えるためにニューロンの活性化を操作する。
  論文  参考訳（メタデータ） (2021-10-06T20:57:57Z)
• Neural Language Models with Distant Supervision to Identify Major Depressive Disorder from Clinical Notes [2.1060613825447407]
  大うつ病 (Major depressive disorder, MDD) は、世界中で深刻な医療負担を伴う精神疾患である。 近年、Bidirectional Representations for Transformers (BERT) モデルなどのニューラルネットワークモデルが進歩し、最先端のニューラルネットワークモデルが生まれた。 臨床ノートからMDD表現型を同定するために,遠隔監視パラダイムでニューラルネットワークモデルを活用することを提案する。
  論文  参考訳（メタデータ） (2021-04-19T21:11:41Z)
• Learning identifiable and interpretable latent models of high-dimensional neural activity using pi-VAE [10.529943544385585]
  本稿では,潜在モデルと従来のニューラルエンコーディングモデルから重要な要素を統合する手法を提案する。 我々の手法であるpi-VAEは、同定可能な変分自動エンコーダの最近の進歩にインスパイアされている。 人工データを用いてpi-VAEを検証し,それをラット海馬およびマカク運動野の神経生理学的データセットの解析に応用した。
  論文  参考訳（メタデータ） (2020-11-09T22:00:38Z)
• To BERT or Not To BERT: Comparing Speech and Language-based Approaches for Alzheimer's Disease Detection [17.99855227184379]
  自然言語処理と機械学習はアルツハイマー病(AD)を確実に検出するための有望な技術を提供する 最近のADReSSチャレンジデータセットにおいて、AD検出のための2つのアプローチのパフォーマンスを比較し、比較する。 認知障害検出における言語学の重要性を考えると,細調整BERTモデルはAD検出タスクにおいて特徴に基づくアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2020-07-26T04:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。