論文の概要: Semantic-aware Contrastive Learning for Electroencephalography-to-Text
Generation with Curriculum Learning
- arxiv url: http://arxiv.org/abs/2301.09237v1
- Date: Mon, 23 Jan 2023 00:54:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 14:19:26.516385
- Title: Semantic-aware Contrastive Learning for Electroencephalography-to-Text
Generation with Curriculum Learning
- Title（参考訳）: カリキュラム学習による脳波からテキスト生成のための意味認識型コントラスト学習
- Authors: Xiachong Feng, Xiaocheng Feng, Bing Qin
- Abstract要約: 脳波対テキスト生成のためのC-SCL(Curriculum Semantic-aware Contrastive Learning Strategy)を提案する。
C-SCLは、意味的に類似したEEG表現をまとめ、異なる表現を分割する。
提案手法は,新しい最先端技術を実現しつつ,3種類の指標にまたがる安定した改善を示す。
- 参考スコア（独自算出の注目度）: 28.76185264077582
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Electroencephalography-to-Text generation (EEG-to-Text), which aims to
directly generate natural text from EEG signals has drawn increasing attention
in recent years due to the enormous potential for Brain-computer interfaces
(BCIs). However, the remarkable discrepancy between the subject-dependent EEG
representation and the semantic-dependent text representation poses a great
challenge to this task. To mitigate this challenge, we devise a Curriculum
Semantic-aware Contrastive Learning strategy (C-SCL), which effectively
re-calibrates the subject-dependent EEG representation to the
semantic-dependent EEG representation, thus reducing the discrepancy.
Specifically, our C-SCL pulls semantically similar EEG representations together
while pushing apart dissimilar ones. Besides, in order to introduce more
meaningful contrastive pairs, we carefully employ curriculum learning to not
only craft meaningful contrastive pairs but also make the learning
progressively. We conduct extensive experiments on the ZuCo benchmark and our
method combined with diverse models and architectures shows stable improvements
across three types of metrics while achieving the new state-of-the-art. Further
investigation proves not only its superiority in both the single-subject and
low-resource settings but also its robust generalizability in the zero-shot
setting.
- Abstract（参考訳）: 脳波信号から自然テキストを直接生成することを目的とした脳波-テキスト生成(EEG-to-Text)が近年,脳-コンピュータインターフェース(BCI)の潜在的可能性から注目されている。
しかし、主題依存型脳波表現と意味依存型テキスト表現との顕著な相違は、この課題に大きな課題をもたらす。
この課題を緩和するため,本研究では,概念依存の脳波表現と意味依存の脳波表現を効果的に再結合し,その差異を低減した,カリキュラム意味認識型コントラスト学習戦略(c-scl)を考案した。
具体的には、我々のC-SCLは意味論的に類似した脳波表現をまとめ、異種を分解する。
また、より有意義なコントラストペアを導入するために、有意義なコントラストペアを作るだけでなく、学習を段階的に進めるためにカリキュラム学習を慎重に採用する。
我々はZuCoベンチマークの広範な実験を行い、この手法と多様なモデルとアーキテクチャを組み合わせることで、3種類のメトリクスをまたいだ安定した改善と、新しい最先端の達成を実現している。
さらなる調査は、単一オブジェクトと低リソースの両方の設定における優位性だけでなく、ゼロショット設定における堅牢な一般化可能性も証明している。
関連論文リスト
- An Empirical Exploration of Cross-domain Alignment between Language and
Electroencephalogram [20.655155268924393]
我々は、脳波と言語の関係、すなわち、あるドメインが他方をどう反映し、どのように表現するかについて研究する。
MTAMを用いて2つのモード間の協調表現を観測し、下流アプリケーションに変換表現を用いる。
K-EmoConの感情分析では16.5%,ZuCoの感情分析では26.6%,ZuCoの関係検出では31.1%であった。
論文 参考訳（メタデータ） (2022-08-10T17:51:34Z) - Transition-based Abstract Meaning Representation Parsing with Contextual
Embeddings [0.0]
本研究では,意味解析のタスクにおいて,言語モデルと記号意味論の定式化という,言語の意味への最も成功したルートを2つ組み合わせる手法について検討する。
本稿では,事前学習した文脈認識単語の埋め込み(BERTやRoBERTaなど)を解析問題に組み込むことの有用性について検討する。
論文 参考訳（メタデータ） (2022-06-13T15:05:24Z) - Incorporating Dynamic Semantics into Pre-Trained Language Model for
Aspect-based Sentiment Analysis [67.41078214475341]
ABSAの動的アスペクト指向セマンティクスを学ぶために,DR-BERT(Dynamic Re-weighting BERT)を提案する。
具体的には、まずStack-BERT層を主エンコーダとして、文の全体的な意味を理解する。
次に、軽量な動的再重み付けアダプタ(DRA)を導入して微調整する。
論文 参考訳（メタデータ） (2022-03-30T14:48:46Z) - Structural and Semantic Contrastive Learning for Self-supervised Node
Representation Learning [32.126228702554144]
グラフコントラスト学習(GCL)は、自己教師型で一般化可能、転送可能、堅牢なノード表現を学習するために多くの研究関心を集めている。
この作業では、既存の教師なしのGCLを超越して、シンプルだが効果的なフレームワークであるS$3$-CLを提案し、それらの制限に対処します。
実験の結果、S$3$-CLで学習したノード表現は、最先端のGCL法と比較して、異なるダウンストリームタスクにおいて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-02-17T07:20:09Z) - Hybrid Curriculum Learning for Emotion Recognition in Conversation [10.912215835115063]
本枠組みは,(1)会話レベルカリキュラム(CC)と(2)発話レベルカリキュラム(UC)の2つのカリキュラムから構成される。
提案したモデルに依存しないハイブリッドカリキュラム学習戦略により,既存のERCモデルに対する大幅な性能向上が観測された。
論文 参考訳（メタデータ） (2021-12-22T08:02:58Z) - Contrastive Instruction-Trajectory Learning for Vision-Language
Navigation [66.16980504844233]
視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。
先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。
本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-08T06:32:52Z) - A Comparative Study of Transformers on Word Sense Disambiguation [0.0]
本稿では,ニューラルネットワークを用いた埋め込みシステムの文脈化能力について比較検討する。
本稿では,2つのWord Sense Disambiguation (WSD)タスクであるSensEval-2とSensEval-3を用いて,その文脈化能力を評価する。
実験の結果,提案手法は両WSDタスクにおける現状よりも優れた結果が得られることがわかった。
論文 参考訳（メタデータ） (2021-11-30T14:10:22Z) - Simpler, Faster, Stronger: Breaking The log-K Curse On Contrastive
Learners With FlatNCE [104.37515476361405]
比較学習者が小さいバッチサイズで失敗する理由を数学的に明らかにする。
この問題を解決するために,FlatNCEという新たな非ネイティブコントラスト目標を提案する。
論文 参考訳（メタデータ） (2021-07-02T15:50:43Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳（メタデータ） (2021-01-02T01:15:57Z) - Deep N-ary Error Correcting Output Codes [66.15481033522343]
Ecoror Correcting Output Codes (ECOC) のようなデータ非依存のアンサンブル手法が注目を集めている。
N-ary ECOCは、元の多クラス分類問題を、独立した単純な分類サブプロブレムのシリーズに分解する。
深部N-ary ECOCのためのパラメータ共有アーキテクチャの3つのバリエーションを提案する。
論文 参考訳（メタデータ） (2020-09-22T11:35:03Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-04T14:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。