論文の概要: Semantic-aware Contrastive Learning for Electroencephalography-to-Text
Generation with Curriculum Learning
- arxiv url: http://arxiv.org/abs/2301.09237v1
- Date: Mon, 23 Jan 2023 00:54:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 14:19:26.516385
- Title: Semantic-aware Contrastive Learning for Electroencephalography-to-Text
Generation with Curriculum Learning
- Title（参考訳）: カリキュラム学習による脳波からテキスト生成のための意味認識型コントラスト学習
- Authors: Xiachong Feng, Xiaocheng Feng, Bing Qin
- Abstract要約: 脳波対テキスト生成のためのC-SCL(Curriculum Semantic-aware Contrastive Learning Strategy)を提案する。
C-SCLは、意味的に類似したEEG表現をまとめ、異なる表現を分割する。
提案手法は,新しい最先端技術を実現しつつ,3種類の指標にまたがる安定した改善を示す。
- 参考スコア（独自算出の注目度）: 28.76185264077582
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Electroencephalography-to-Text generation (EEG-to-Text), which aims to
directly generate natural text from EEG signals has drawn increasing attention
in recent years due to the enormous potential for Brain-computer interfaces
(BCIs). However, the remarkable discrepancy between the subject-dependent EEG
representation and the semantic-dependent text representation poses a great
challenge to this task. To mitigate this challenge, we devise a Curriculum
Semantic-aware Contrastive Learning strategy (C-SCL), which effectively
re-calibrates the subject-dependent EEG representation to the
semantic-dependent EEG representation, thus reducing the discrepancy.
Specifically, our C-SCL pulls semantically similar EEG representations together
while pushing apart dissimilar ones. Besides, in order to introduce more
meaningful contrastive pairs, we carefully employ curriculum learning to not
only craft meaningful contrastive pairs but also make the learning
progressively. We conduct extensive experiments on the ZuCo benchmark and our
method combined with diverse models and architectures shows stable improvements
across three types of metrics while achieving the new state-of-the-art. Further
investigation proves not only its superiority in both the single-subject and
low-resource settings but also its robust generalizability in the zero-shot
setting.
- Abstract（参考訳）: 脳波信号から自然テキストを直接生成することを目的とした脳波-テキスト生成(EEG-to-Text)が近年,脳-コンピュータインターフェース(BCI)の潜在的可能性から注目されている。
しかし、主題依存型脳波表現と意味依存型テキスト表現との顕著な相違は、この課題に大きな課題をもたらす。
この課題を緩和するため,本研究では,概念依存の脳波表現と意味依存の脳波表現を効果的に再結合し,その差異を低減した,カリキュラム意味認識型コントラスト学習戦略(c-scl)を考案した。
具体的には、我々のC-SCLは意味論的に類似した脳波表現をまとめ、異種を分解する。
また、より有意義なコントラストペアを導入するために、有意義なコントラストペアを作るだけでなく、学習を段階的に進めるためにカリキュラム学習を慎重に採用する。
我々はZuCoベンチマークの広範な実験を行い、この手法と多様なモデルとアーキテクチャを組み合わせることで、3種類のメトリクスをまたいだ安定した改善と、新しい最先端の達成を実現している。
さらなる調査は、単一オブジェクトと低リソースの両方の設定における優位性だけでなく、ゼロショット設定における堅牢な一般化可能性も証明している。
関連論文リスト
- Natural Language Inference Improves Compositionality in Vision-Language Models [35.71815423077561]
所与の前提から細部と矛盾を生じさせる原則的アプローチを提案する。
CECEは、その中核的な意味を維持しながら、語彙的に多様な文を生成する。
我々は、追加の微調整を必要とせず、従来の方法よりも大幅に改善した。
論文 参考訳（メタデータ） (2024-10-29T17:54:17Z) - SEE: Semantically Aligned EEG-to-Text Translation [5.460650382586978]
神経生理学的信号を言語に復号することは、脳-コンピュータインターフェース(BCI)の応用において非常に興味深い研究である。
現在のEEG-to-Textデコーディングアプローチは、EEGレコードと生テキストの間に大きなドメインギャップがあるため、課題に直面している。
本稿では,脳波からテキストへのデコードを改善するための新しい手法であるセマンティック・アラインドEEG-to-Text Translationを提案する。
論文 参考訳（メタデータ） (2024-09-14T05:37:15Z) - A Supervised Information Enhanced Multi-Granularity Contrastive Learning Framework for EEG Based Emotion Recognition [14.199298112101802]
本研究では,脳波に基づく感情認識(SICLEER, Supervised Info-enhanced Contrastive Learning)のための新しいコントラスト学習フレームワークを提案する。
自己教師付きコントラスト学習損失と教師付き分類損失を組み合わせた共同学習モデルを提案する。
論文 参考訳（メタデータ） (2024-05-12T11:51:00Z) - Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。
また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
論文 参考訳（メタデータ） (2024-02-27T11:45:21Z) - CSLP-AE: A Contrastive Split-Latent Permutation Autoencoder Framework
for Zero-Shot Electroencephalography Signal Conversion [49.1574468325115]
脳波分析の鍵となる目的は、基礎となる神経活動(コンテンツ)を抽出し、個体の変動(スタイル)を考慮することである。
近年の音声変換技術の発展に触発されて,脳波変換を直接最適化するCSLP-AEフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-13T22:46:43Z) - Deep Emotion Recognition in Textual Conversations: A Survey [0.8602553195689513]
新しいアプリケーションと実装シナリオは、新しい課題と機会を示します。
これらは会話の文脈、話者、感情のダイナミクスのモデリングから、一般的な感覚表現の解釈まで様々である。
この調査は、アンバランスなデータに対処するテクニックを活用する利点を強調している。
論文 参考訳（メタデータ） (2022-11-16T19:42:31Z) - Contrastive Instruction-Trajectory Learning for Vision-Language
Navigation [66.16980504844233]
視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。
先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。
本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-08T06:32:52Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳（メタデータ） (2021-01-02T01:15:57Z) - Deep N-ary Error Correcting Output Codes [66.15481033522343]
Ecoror Correcting Output Codes (ECOC) のようなデータ非依存のアンサンブル手法が注目を集めている。
N-ary ECOCは、元の多クラス分類問題を、独立した単純な分類サブプロブレムのシリーズに分解する。
深部N-ary ECOCのためのパラメータ共有アーキテクチャの3つのバリエーションを提案する。
論文 参考訳（メタデータ） (2020-09-22T11:35:03Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-04T14:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。