論文の概要: An Empirical Exploration of Cross-domain Alignment between Language and
Electroencephalogram
- arxiv url: http://arxiv.org/abs/2208.06348v1
- Date: Wed, 10 Aug 2022 17:51:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-15 12:56:24.527509
- Title: An Empirical Exploration of Cross-domain Alignment between Language and
Electroencephalogram
- Title(参考訳): 言語と脳波のクロスドメインアライメントの実証的研究
- Authors: William Han, Jielin Qiu, Jiacheng Zhu, Mengdi Xu, Douglas Weber, Bo
Li, Ding Zhao
- Abstract要約: 我々は、脳波と言語の関係、すなわち、あるドメインが他方をどう反映し、どのように表現するかについて研究する。
MTAMを用いて2つのモード間の協調表現を観測し、下流アプリケーションに変換表現を用いる。
K-EmoConの感情分析では16.5%,ZuCoの感情分析では26.6%,ZuCoの関係検出では31.1%であった。
- 参考スコア(独自算出の注目度): 20.655155268924393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electroencephalography (EEG) and language have been widely explored
independently for many downstream tasks (e.g., sentiment analysis, relation
detection, etc.). Multimodal approaches that study both domains have not been
well explored, even though in recent years, multimodal learning has been seen
to be more powerful than its unimodal counterparts. In this study, we want to
explore the relationship and dependency between EEG and language, i.e., how one
domain reflects and represents the other. To study the relationship at the
representation level, we introduced MTAM, a Multimodal Transformer Alignment
Model, to observe coordinated representations between the two modalities, and
thus employ the transformed representations for downstream applications. We
used various relationship alignment-seeking techniques, such as Canonical
Correlation Analysis and Wasserstein Distance, as loss functions to transfigure
low-level language and EEG features to high-level transformed features. On
downstream applications, sentiment analysis, and relation detection, we
achieved new state-of-the-art results on two datasets, ZuCo and K-EmoCon. Our
method achieved an F1-score improvement of 16.5% on sentiment analysis for
K-EmoCon, 26.6% on sentiment analysis of ZuCo, and 31.1% on relation detection
of ZuCo. In addition, we provide interpretation of the performance improvement
by: (1) visualizing the original feature distribution and the transformed
feature distribution, showing the effectiveness of the alignment module for
discovering and encoding the relationship between EEG and language; (2)
visualizing word-level and sentence-level EEG-language alignment weights,
showing the influence of different language semantics as well as EEG frequency
features; and (3) visualizing brain topographical maps to provide an intuitive
demonstration of the connectivity of EEG and language response in the brain
regions.
- Abstract(参考訳): 脳波(eeg)と言語は多くの下流タスク(感情分析、関係検出など)に対して独立して研究されてきた。
どちらの領域も研究するマルチモーダルアプローチは十分に研究されていないが、近年ではマルチモーダル学習はそのユニモーダル学習よりも強力であると考えられている。
本研究では,脳波と言語の関係,すなわち一方のドメインが他方のドメインをどのように反映し,どのように表現するかを考察する。
表現レベルでの関係を研究するために,マルチモーダルトランスフォーマティブアライメントモデルであるmtamを導入し,2つのモダリティ間の協調表現を観察し,下流アプリケーションへの変換表現を用いた。
我々は、低レベル言語と脳波の特徴を高レベルに変換する損失関数として、Canonical correlation AnalysisやWasserstein Distanceなどの様々な関係アライメント探索手法を用いた。
ダウンストリームアプリケーション、感情分析、関係検出では、ZuCoとK-EmoConという2つのデータセットで、最先端の新たな結果を得た。
K-EmoConの感情分析では16.5%,ZuCoの感情分析では26.6%,ZuCoの関係検出では31.1%であった。
In addition, we provide interpretation of the performance improvement by: (1) visualizing the original feature distribution and the transformed feature distribution, showing the effectiveness of the alignment module for discovering and encoding the relationship between EEG and language; (2) visualizing word-level and sentence-level EEG-language alignment weights, showing the influence of different language semantics as well as EEG frequency features; and (3) visualizing brain topographical maps to provide an intuitive demonstration of the connectivity of EEG and language response in the brain regions.
関連論文リスト
- Interpersonal Relationship Analysis with Dyadic EEG Signals via Learning
Spatial-Temporal Patterns [21.082038315707923]
脳波信号から派生したパターンを用いた社会関係分析フレームワークを提案する。
脳波データにより,2人の関係タイプ(ストランガーや友人)を効果的に識別できることが示唆された。
論文 参考訳(メタデータ) (2024-01-06T16:17:58Z) - Deep Representation Learning for Open Vocabulary
Electroencephalography-to-Text Decoding [6.014363449216054]
神経科学に現代的な表現型学習アプローチをもたらす非侵襲的な脳記録のためのエンドツーエンドのディープラーニングフレームワークを提案する。
BLEU-1スコアは42.75%,ROUGE-1-F33.28%,BERTScore-F53.86%で,それぞれ3.38%,8.43%,6.31%であった。
論文 参考訳(メタデータ) (2023-11-15T08:03:09Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳(メタデータ) (2023-03-16T00:06:28Z) - Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-Sentence
Dependency Graph [47.451893128956065]
我々は,Universal Dependencies (UD) の構文的特徴を取り入れ,直接ゼロショット設定における言語間機械読解(MRC)の課題をターゲットにしている。
文間のグローバルな構文関係を形成するために,依存関係木を接続する文間依存グラフ(ISDG)を構築した。
次に、グローバル依存グラフを符号化するIDDGエンコーダを提案し、ワンホップとマルチホップの依存関係パスの両方を通して、文間関係を明示的に解決する。
論文 参考訳(メタデータ) (2021-12-01T13:58:39Z) - CogAlign: Learning to Align Textual Neural Representations to Cognitive
Language Processing Signals [60.921888445317705]
自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。
我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
論文 参考訳(メタデータ) (2021-06-10T07:10:25Z) - Dynamic Graph Modeling of Simultaneous EEG and Eye-tracking Data for
Reading Task Identification [79.41619843969347]
我々は、脳波(EEG)と眼球運動(EM)データからヒトの読取意図を特定するための新しいアプローチAdaGTCNを提案する。
本稿では,AdaGTCN(Adaptive Graph Temporal Convolution Network)の手法として,Adaptive Graph Learning LayerとDeep Neighborhood Graph Convolution Layerを用いた。
このアプローチといくつかのベースラインを比較し、ZuCo 2.0データセットの6.29%の改善と広範なアブレーション実験を報告します。
論文 参考訳(メタデータ) (2021-02-21T18:19:49Z) - Language and Visual Entity Relationship Graph for Agent Navigation [54.059606864535304]
VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従って現実世界の環境をナビゲートする必要がある。
テキストと視覚間のモーダル関係をモデル化するための新しい言語とビジュアルエンティティ関係グラフを提案する。
実験によって、私たちは最先端技術よりも改善できる関係を利用しています。
論文 参考訳(メタデータ) (2020-10-19T08:25:55Z) - GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and
Event Extraction [107.8262586956778]
言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。
GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。
そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
論文 参考訳(メタデータ) (2020-10-06T20:30:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。