論文の概要: Can Brain Signals Reveal Inner Alignment with Human Languages?

• arxiv url: http://arxiv.org/abs/2208.06348v4
• Date: Wed, 18 Oct 2023 21:29:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 21:21:54.747210
• Title: Can Brain Signals Reveal Inner Alignment with Human Languages?
• Title（参考訳）: 脳信号は人間の言語に内在するのだろうか?
• Authors: William Han, Jielin Qiu, Jiacheng Zhu, Mengdi Xu, Douglas Weber, Bo Li, Ding Zhao
• Abstract要約: 脳波と言語の関係と依存性について検討する。 我々は、Canonical correlation AnalysisやWasserstein Distanceなど、様々な関係アライメント探索技術を使用している。 本手法は,K-EmoConが1.7%,感情分析がZucoデータセットが9.3%,関係検出がZuCoが7.4%,F1スコア改善が達成された。
• 参考スコア（独自算出の注目度）: 36.64614136837437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Brain Signals, such as Electroencephalography (EEG), and human languages have been widely explored independently for many downstream tasks, however, the connection between them has not been well explored. In this study, we explore the relationship and dependency between EEG and language. To study at the representation level, we introduced \textbf{MTAM}, a \textbf{M}ultimodal \textbf{T}ransformer \textbf{A}lignment \textbf{M}odel, to observe coordinated representations between the two modalities. We used various relationship alignment-seeking techniques, such as Canonical Correlation Analysis and Wasserstein Distance, as loss functions to transfigure features. On downstream applications, sentiment analysis and relation detection, we achieved new state-of-the-art results on two datasets, ZuCo and K-EmoCon. Our method achieved an F1-score improvement of 1.7% on K-EmoCon and 9.3% on Zuco datasets for sentiment analysis, and 7.4% on ZuCo for relation detection. In addition, we provide interpretations of the performance improvement: (1) feature distribution shows the effectiveness of the alignment module for discovering and encoding the relationship between EEG and language; (2) alignment weights show the influence of different language semantics as well as EEG frequency features; (3) brain topographical maps provide an intuitive demonstration of the connectivity in the brain regions. Our code is available at \url{https://github.com/Jason-Qiu/EEG_Language_Alignment}.
• Abstract（参考訳）: 脳波(EEG)やヒト言語などの脳信号は、多くの下流タスクにおいて独立して研究されてきたが、それらの関連性はよく研究されていない。 本研究では,脳波と言語の関係と依存性について検討する。 表現レベルでの研究のために, 2つのモード間の協調表現を観測するために, a \textbf{M}ultimodal \textbf{T}ransformer \textbf{A}lignment \textbf{M}odelを導入した。 そこで我々は,Canonical correlation Analysis や Wasserstein Distance など,多種多様なアライメント探索手法を特徴量の損失関数として用いた。 下流アプリケーション,感情分析,関係検出において,zucoとk-emoconの2つのデータセットで最新の結果を得た。 本手法は,K-EmoConが1.7%,感情分析がZucoデータセットが9.3%,関係検出がZuCoが7.4%,F1スコア改善が達成された。 特徴分布は脳波と言語の関係を発見・符号化するためのアライメントモジュールの有効性を示し,(2)アライメント重みは脳波の周波数特性だけでなく言語意味の影響も示し,(3)脳地形図は脳領域の接続性について直感的に示す。 我々のコードは \url{https://github.com/Jason-Qiu/EEG_Language_Alignment} で利用可能です。

関連論文リスト

• SEE: Semantically Aligned EEG-to-Text Translation [5.460650382586978]
  神経生理学的信号を言語に復号することは、脳-コンピュータインターフェース(BCI)の応用において非常に興味深い研究である。 現在のEEG-to-Textデコーディングアプローチは、EEGレコードと生テキストの間に大きなドメインギャップがあるため、課題に直面している。 本稿では,脳波からテキストへのデコードを改善するための新しい手法であるセマンティック・アラインドEEG-to-Text Translationを提案する。
  論文  参考訳（メタデータ） (2024-09-14T05:37:15Z)
• Sign Language Sense Disambiguation [0.0]
  本研究は、ドイツ語手話の手話翻訳を強化する手法について、特に同義語に着目して検討する。 本研究では, トランスフォーマーモデルを用いた様々なボディパーツ表現の訓練により, ボディーパーツに焦点を移すことにより, 改善にアプローチする。 その結果、小さなデータセット設定では口にフォーカスすることでパフォーマンスが向上し、手にフォーカスを移すことで、より大きなデータセット設定ではより良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-09-13T12:36:52Z)
• Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer [78.35816158511523]
  単段階の感情認識手法として,DSCT(Decoupled Subject-Context Transformer)を用いる。 広範に使われている文脈認識型感情認識データセットであるCAER-SとEMOTICの単段階フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-04-26T07:30:32Z)
• ECRC: Emotion-Causality Recognition in Korean Conversation for GCN [0.0]
  本稿では,新しいグラフ構造に基づく会話モデル(ECRC)の感情因果認識を提案する。 本研究では,単語レベルの埋め込みと文レベルの埋め込みの両方を活用することで,過去の埋め込みの限界を克服する。 このモデルは、双方向長短期メモリ(Bi-LSTM)とグラフニューラルネットワーク(GCN)モデルを韓国の会話分析のために一意に統合する。
  論文  参考訳（メタデータ） (2024-03-16T02:07:31Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Language and Visual Entity Relationship Graph for Agent Navigation [54.059606864535304]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従って現実世界の環境をナビゲートする必要がある。 テキストと視覚間のモーダル関係をモデル化するための新しい言語とビジュアルエンティティ関係グラフを提案する。 実験によって、私たちは最先端技術よりも改善できる関係を利用しています。
  論文  参考訳（メタデータ） (2020-10-19T08:25:55Z)
• GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
  言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。 そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-06T20:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。