論文の概要: An Empirical Exploration of Cross-domain Alignment between Language and Electroencephalogram

• arxiv url: http://arxiv.org/abs/2208.06348v1
• Date: Wed, 10 Aug 2022 17:51:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-15 12:56:24.527509
• Title: An Empirical Exploration of Cross-domain Alignment between Language and Electroencephalogram
• Title（参考訳）: 言語と脳波のクロスドメインアライメントの実証的研究
• Authors: William Han, Jielin Qiu, Jiacheng Zhu, Mengdi Xu, Douglas Weber, Bo Li, Ding Zhao
• Abstract要約: 我々は、脳波と言語の関係、すなわち、あるドメインが他方をどう反映し、どのように表現するかについて研究する。 MTAMを用いて2つのモード間の協調表現を観測し、下流アプリケーションに変換表現を用いる。 K-EmoConの感情分析では16.5%,ZuCoの感情分析では26.6%,ZuCoの関係検出では31.1%であった。
• 参考スコア（独自算出の注目度）: 20.655155268924393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Electroencephalography (EEG) and language have been widely explored independently for many downstream tasks (e.g., sentiment analysis, relation detection, etc.). Multimodal approaches that study both domains have not been well explored, even though in recent years, multimodal learning has been seen to be more powerful than its unimodal counterparts. In this study, we want to explore the relationship and dependency between EEG and language, i.e., how one domain reflects and represents the other. To study the relationship at the representation level, we introduced MTAM, a Multimodal Transformer Alignment Model, to observe coordinated representations between the two modalities, and thus employ the transformed representations for downstream applications. We used various relationship alignment-seeking techniques, such as Canonical Correlation Analysis and Wasserstein Distance, as loss functions to transfigure low-level language and EEG features to high-level transformed features. On downstream applications, sentiment analysis, and relation detection, we achieved new state-of-the-art results on two datasets, ZuCo and K-EmoCon. Our method achieved an F1-score improvement of 16.5% on sentiment analysis for K-EmoCon, 26.6% on sentiment analysis of ZuCo, and 31.1% on relation detection of ZuCo. In addition, we provide interpretation of the performance improvement by: (1) visualizing the original feature distribution and the transformed feature distribution, showing the effectiveness of the alignment module for discovering and encoding the relationship between EEG and language; (2) visualizing word-level and sentence-level EEG-language alignment weights, showing the influence of different language semantics as well as EEG frequency features; and (3) visualizing brain topographical maps to provide an intuitive demonstration of the connectivity of EEG and language response in the brain regions.
• Abstract（参考訳）: 脳波(eeg)と言語は多くの下流タスク(感情分析、関係検出など)に対して独立して研究されてきた。 どちらの領域も研究するマルチモーダルアプローチは十分に研究されていないが、近年ではマルチモーダル学習はそのユニモーダル学習よりも強力であると考えられている。 本研究では,脳波と言語の関係,すなわち一方のドメインが他方のドメインをどのように反映し,どのように表現するかを考察する。 表現レベルでの関係を研究するために,マルチモーダルトランスフォーマティブアライメントモデルであるmtamを導入し,2つのモダリティ間の協調表現を観察し,下流アプリケーションへの変換表現を用いた。 我々は、低レベル言語と脳波の特徴を高レベルに変換する損失関数として、Canonical correlation AnalysisやWasserstein Distanceなどの様々な関係アライメント探索手法を用いた。 ダウンストリームアプリケーション、感情分析、関係検出では、ZuCoとK-EmoConという2つのデータセットで、最先端の新たな結果を得た。 K-EmoConの感情分析では16.5%,ZuCoの感情分析では26.6%,ZuCoの関係検出では31.1%であった。 In addition, we provide interpretation of the performance improvement by: (1) visualizing the original feature distribution and the transformed feature distribution, showing the effectiveness of the alignment module for discovering and encoding the relationship between EEG and language; (2) visualizing word-level and sentence-level EEG-language alignment weights, showing the influence of different language semantics as well as EEG frequency features; and (3) visualizing brain topographical maps to provide an intuitive demonstration of the connectivity of EEG and language response in the brain regions.

関連論文リスト

• SEE: Semantically Aligned EEG-to-Text Translation [5.460650382586978]
  神経生理学的信号を言語に復号することは、脳-コンピュータインターフェース(BCI)の応用において非常に興味深い研究である。 現在のEEG-to-Textデコーディングアプローチは、EEGレコードと生テキストの間に大きなドメインギャップがあるため、課題に直面している。 本稿では,脳波からテキストへのデコードを改善するための新しい手法であるセマンティック・アラインドEEG-to-Text Translationを提案する。
  論文  参考訳（メタデータ） (2024-09-14T05:37:15Z)
• Sign Language Sense Disambiguation [0.0]
  本研究は、ドイツ語手話の手話翻訳を強化する手法について、特に同義語に着目して検討する。 本研究では, トランスフォーマーモデルを用いた様々なボディパーツ表現の訓練により, ボディーパーツに焦点を移すことにより, 改善にアプローチする。 その結果、小さなデータセット設定では口にフォーカスすることでパフォーマンスが向上し、手にフォーカスを移すことで、より大きなデータセット設定ではより良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-09-13T12:36:52Z)
• Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer [78.35816158511523]
  単段階の感情認識手法として,DSCT(Decoupled Subject-Context Transformer)を用いる。 広範に使われている文脈認識型感情認識データセットであるCAER-SとEMOTICの単段階フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-04-26T07:30:32Z)
• ECRC: Emotion-Causality Recognition in Korean Conversation for GCN [0.0]
  本稿では,新しいグラフ構造に基づく会話モデル(ECRC)の感情因果認識を提案する。 本研究では,単語レベルの埋め込みと文レベルの埋め込みの両方を活用することで,過去の埋め込みの限界を克服する。 このモデルは、双方向長短期メモリ(Bi-LSTM)とグラフニューラルネットワーク(GCN)モデルを韓国の会話分析のために一意に統合する。
  論文  参考訳（メタデータ） (2024-03-16T02:07:31Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Language and Visual Entity Relationship Graph for Agent Navigation [54.059606864535304]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従って現実世界の環境をナビゲートする必要がある。 テキストと視覚間のモーダル関係をモデル化するための新しい言語とビジュアルエンティティ関係グラフを提案する。 実験によって、私たちは最先端技術よりも改善できる関係を利用しています。
  論文  参考訳（メタデータ） (2020-10-19T08:25:55Z)
• GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
  言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。 そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-06T20:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。