論文の概要: EMMT: A simultaneous eye-tracking, 4-electrode EEG and audio corpus for
multi-modal reading and translation scenarios
- arxiv url: http://arxiv.org/abs/2204.02905v1
- Date: Wed, 6 Apr 2022 15:47:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-07 17:44:51.903284
- Title: EMMT: A simultaneous eye-tracking, 4-electrode EEG and audio corpus for
multi-modal reading and translation scenarios
- Title（参考訳）: EMMT:マルチモーダル読解・翻訳シナリオのための同時視線追跡、4電極脳波とオーディオコーパス
- Authors: Sunit Bhattacharya, V\v{e}ra Kloudov\'a, Vil\'em Zouhar, Ond\v{r}ej
Bojar
- Abstract要約: Eyetracked Multi-Modal Translation (EMMT) コーパスは、43人の眼球運動記録、音声、および4電極脳波(EEG)データを含むデータセットである。
目的は、英語からチェコ語への翻訳において、多くの言語集約的なタスクに携わる参加者の反応として認知信号を収集することであった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the Eyetracked Multi-Modal Translation (EMMT) corpus, a dataset
containing monocular eye movement recordings, audio and 4-electrode
electroencephalogram (EEG) data of 43 participants. The objective was to
collect cognitive signals as responses of participants engaged in a number of
language intensive tasks involving different text-image stimuli settings when
translating from English to Czech.
Each participant was exposed to 32 text-image stimuli pairs and asked to (1)
read the English sentence, (2) translate it into Czech, (3) consult the image,
(4) translate again, either updating or repeating the previous translation. The
text stimuli consisted of 200 unique sentences with 616 unique words coupled
with 200 unique images as the visual stimuli.
The recordings were collected over a two week period and all the participants
included in the study were Czech natives with strong English skills. Due to the
nature of the tasks involved in the study and the relatively large number of
participants involved, the corpus is well suited for research in Translation
Process Studies, Cognitive Sciences among other disciplines.
- Abstract（参考訳）: 視線追跡多モード翻訳(EMMT)コーパス(Eyetracked Multi-Modal Translation, EMMT)コーパスは, 43人の眼球運動記録, 音声および4電極脳波データを含むデータセットである。
目的は、英語からチェコ語への翻訳の際に、さまざまなテキストイメージ刺激設定を含む言語集約的なタスクに携わる参加者の反応として認知信号を収集することであった。
各被験者は32のテキストイメージ刺激対に曝露し,(1)英語の文章を読み,(2)チェコ語に翻訳し,(3)イメージを相談し,(4)翻訳し,前の翻訳を更新または繰り返した。
テキスト刺激は200の独特な文からなり、616の独特な単語と200の独特な画像が視覚刺激として結合された。
録音は2週間にわたって収集され、調査に参加した参加者は全員、英語力の強いチェコ人であった。
研究に関わる課題の性質と、比較的多くの参加者が関与しているため、コーパスは翻訳過程研究、認知科学などの分野の研究に適している。
関連論文リスト
- ART: The Alternating Reading Task Corpus for Speech Entrainment and Imitation [39.53945206535902]
Alternating Reading Task (ART) コーパス(英: corpus)は、音声通信におけるエントレメントと模倣行動を研究するためのダイアディック文の集合である。
単体読み、交互読み、故意模倣の3つの実験的な条件が特徴である。
英語の習熟度スコア、人口統計、および言語的、個人的、対人的な影響がエントレーニングに与える影響を調査するための試験的なアンケートを含む。
論文 参考訳（メタデータ） (2024-04-03T13:08:26Z) - WebQAmGaze: A Multilingual Webcam Eye-Tracking-While-Reading Dataset [42.431350136679704]
WebQAmGazeは、多言語で低コストなアイトラッキング対応データセットである。
WebQAmGazeには、英語、ドイツ語、スペイン語、トルコ語のテキストを自然に読む幅広い年齢層の600人の参加者によるWebカメラによるアイトラッキングデータが含まれている。
論文 参考訳（メタデータ） (2023-03-31T08:18:30Z) - MixSpeech: Cross-Modality Self-Learning with Audio-Visual Stream Mixup
for Visual Speech Translation and Recognition [51.412413996510814]
視覚音声の訓練を正規化するために音声音声を利用する多目的自己学習フレームワークであるMixSpeechを提案する。
MixSpeechは雑音の多い環境での音声翻訳を強化し、AVMuST-TED上でのBLEUスコアを+1.4から+4.2に改善した。
論文 参考訳（メタデータ） (2023-03-09T14:58:29Z) - Universal Multimodal Representation for Language Understanding [110.98786673598015]
本研究は,一般的なNLPタスクの補助信号として視覚情報を利用する新しい手法を提案する。
各文に対して、まず、既存の文-画像ペア上で抽出された軽トピック-画像検索テーブルから、フレキシブルな画像を検索する。
そして、テキストと画像はそれぞれトランスフォーマーエンコーダと畳み込みニューラルネットワークによって符号化される。
論文 参考訳（メタデータ） (2023-01-09T13:54:11Z) - Multi-Modal Masked Autoencoders for Medical Vision-and-Language
Pre-Training [62.215025958347105]
マルチモーダルマスク付きオートエンコーダを用いた自己教師型学習パラダイムを提案する。
我々は、ランダムにマスキングされた画像やテキストから欠落したピクセルやトークンを再構成することで、クロスモーダルなドメイン知識を学習する。
論文 参考訳（メタデータ） (2022-09-15T07:26:43Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳（メタデータ） (2022-08-25T10:01:43Z) - Multimodal Neural Machine Translation with Search Engine Based Image
Retrieval [4.662583832063716]
バイリンガルパラレルコーパスのための記述画像収集のためのオープン語彙画像検索手法を提案する。
提案手法は,強いベースラインに対する大幅な改善を実現する。
論文 参考訳（メタデータ） (2022-07-26T08:42:06Z) - Toward a realistic model of speech processing in the brain with
self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。
We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文 参考訳（メタデータ） (2022-06-03T17:01:46Z) - The Copenhagen Corpus of Eye Tracking Recordings from Natural Reading of
Danish Texts [8.673635963837532]
我々はコペンハーゲンコーパスであるCopCoを紹介した。
CopCoには1,832通の文章と34,897通のデンマーク語のテキストが含まれている。
他のジャンルの参加者やテキストを増やそうとしている。
論文 参考訳（メタデータ） (2022-04-28T07:13:00Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳（メタデータ） (2021-10-12T15:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。