Fugu-MT 論文翻訳(概要): TorontoCL at CMCL 2021 Shared Task: RoBERTa with Multi-Stage Fine-Tuning for Eye-Tracking Prediction

論文の概要: TorontoCL at CMCL 2021 Shared Task: RoBERTa with Multi-Stage Fine-Tuning for Eye-Tracking Prediction

arxiv url: http://arxiv.org/abs/2104.07244v1
Date: Thu, 15 Apr 2021 05:29:13 GMT
ステータス: 処理完了
システム内更新日: 2021-04-16 15:03:33.875488
Title: TorontoCL at CMCL 2021 Shared Task: RoBERTa with Multi-Stage Fine-Tuning for Eye-Tracking Prediction
Title（参考訳）: TorontoCL at CMCL 2021 Shared Task: RoBERTa with Multi-Stage Fine-Tuning for Eye-Tracking Prediction (英語)
Authors: Bai Li, Frank Rudzicz
Abstract要約: 本稿では, CMCL 2021共有課題に対する人間読影パターンの予測について述べる。我々のモデルは5つの視線追跡特徴を予測するために回帰層を持つRoBERTaを用いている。私たちの最終提出は3.929のMAEスコアを達成し、このタスクに参加した13チームのうち3位を獲得しました。
参考スコア（独自算出の注目度）: 25.99947358445936
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Eye movement data during reading is a useful source of information for understanding language comprehension processes. In this paper, we describe our submission to the CMCL 2021 shared task on predicting human reading patterns. Our model uses RoBERTa with a regression layer to predict 5 eye-tracking features. We train the model in two stages: we first fine-tune on the Provo corpus (another eye-tracking dataset), then fine-tune on the task data. We compare different Transformer models and apply ensembling methods to improve the performance. Our final submission achieves a MAE score of 3.929, ranking 3rd place out of 13 teams that participated in this shared task.
Abstract（参考訳）: 読み上げ時の眼球運動データは、言語理解過程を理解するのに有用な情報源である。本稿では,人間の読書パターンの予測に関するcmcl 2021共有タスクへの提案について述べる。我々のモデルは5つの視線追跡特徴を予測するために回帰層を持つRoBERTaを用いている。モデルをトレーニングするには、まずProvoコーパス(別のアイトラッキングデータセット)で微調整し、次にタスクデータで微調整します。異なるTransformerモデルを比較し,性能向上のためにアンサンブル手法を適用した。最後の応募では、この共有タスクに参加した13チーム中3位に、MAEスコア3.929を獲得しました。

関連論文リスト

Towards More Accurate Prediction of Human Empathy and Emotion in Text and Multi-turn Conversations by Combining Advanced NLP, Transformers-based Networks, and Linguistic Methodologies [0.0]
我々はエッセイに表される共感的関心と個人的な苦悩のレベルを予測する。 WASSA 2022の共感検出と感情分類の共有タスクに基づいて、フィードフォワードニューラルネットワークを実装した。最終段階の一部として、これらのアプローチは、インタラクションにおける共感感情とパーソナリティ検出の共有タスクに適応した。
論文参考訳（メタデータ） (2024-07-26T04:01:27Z)
Multi-Task Learning for Front-End Text Processing in TTS [15.62497569424995]
テキストから音声のフロントエンドで一般的に解決される3つのタスクを共同で実行するためのマルチタスク学習(MTL)モデルを提案する。我々のフレームワークは、共有表現を学習するトランクを持つ木のような構造を利用し、その後にタスク固有ヘッドを分離する。
論文参考訳（メタデータ） (2024-01-12T02:13:21Z)
IMProv: Inpainting-based Multimodal Prompting for Computer Vision Tasks [124.90137528319273]
本稿では,マルチモーダルプロンプトから視覚タスクをインコンテキストで学習できる生成モデルIMProvを提案する。我々は、コンピュータビジョン論文とその関連キャプションから、新しい数字のデータセットにマスク付き生成変換器を訓練する。推測時間中、テキストおよび/または画像タスクの例でモデルにプロンプトし、そのモデルに対応する出力を印字させる。
論文参考訳（メタデータ） (2023-12-04T09:48:29Z)
Matcher: Segment Anything with One Shot Using All-Purpose Feature Matching [63.88319217738223]
市販の視覚基礎モデルを用いて様々な知覚課題に対処する新しい知覚パラダイムであるMatcherを提案する。 Matcherは、様々なセグメンテーションタスクにまたがる印象的な一般化パフォーマンスを、すべてトレーニングなしでデモする。我々の結果は、野生の画像に適用されたMatcherのオープンワールドの一般性と柔軟性をさらに示すものである。
論文参考訳（メタデータ） (2023-05-22T17:59:43Z)
Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
論文参考訳（メタデータ） (2023-04-04T17:59:04Z)
Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs [37.754787051387034]
本稿では,ブレークポイントモデリングと呼ばれる表現学習フレームワークを提案する。私たちのアプローチは、中間表現を構築するために、効率的でエンドツーエンドの方法でモデルをトレーニングします。我々は,従来の表現学習手法よりも,T5に基づく主要なブレークポイント変換器の利点を示す。
論文参考訳（メタデータ） (2022-11-15T07:28:14Z)
Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
論文参考訳（メタデータ） (2022-10-31T13:26:08Z)
Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文参考訳（メタデータ） (2022-05-10T19:32:20Z)
Team \'UFAL at CMCL 2022 Shared Task: Figuring out the correct recipe for predicting Eye-Tracking features using Pretrained Language Models [9.087729124428467]
本稿では,眼球追跡情報予測のためのCMCL 2022共有タスクについて述べる。提案は平均5.72のMAEを達成し,共有タスクでは5位にランクインした。
論文参考訳（メタデータ） (2022-04-11T10:43:34Z)
Zero Shot Crosslingual Eye-Tracking Data Prediction using Multilingual Transformer Models [0.0]
本稿では,多言語データセットの読解パターンを予測するCMCL 2022共有タスクについて述べる。本モデルでは, 平均偏差と標準偏差の統計的測度を予測するために, 変圧器のテキスト表現と回帰層を用いた手作業による特徴量を用いる。エンド・ツー・エンドのモデルをトレーニングし、異なる言語から意味のある情報を抽出し、2つの別々のデータセットでモデルをテストします。
論文参考訳（メタデータ） (2022-03-30T17:11:48Z)
KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文参考訳（メタデータ） (2020-10-05T19:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。