論文の概要: Team \'UFAL at CMCL 2022 Shared Task: Figuring out the correct recipe for predicting Eye-Tracking features using Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2204.04998v1
• Date: Mon, 11 Apr 2022 10:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 00:58:27.746149
• Title: Team \'UFAL at CMCL 2022 Shared Task: Figuring out the correct recipe for predicting Eye-Tracking features using Pretrained Language Models
• Title（参考訳）: Team \'UFAL at CMCL 2022 Shared Task: 事前学習言語モデルを用いた視線追跡機能予測のための正しいレシピを見つける
• Authors: Sunit Bhattacharya, Rishu Kumar and Ondrej Bojar
• Abstract要約: 本稿では,眼球追跡情報予測のためのCMCL 2022共有タスクについて述べる。 提案は平均5.72のMAEを達成し,共有タスクでは5位にランクインした。
• 参考スコア（独自算出の注目度）: 9.087729124428467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Eye-Tracking data is a very useful source of information to study cognition and especially language comprehension in humans. In this paper, we describe our systems for the CMCL 2022 shared task on predicting eye-tracking information. We describe our experiments with pretrained models like BERT and XLM and the different ways in which we used those representations to predict four eye-tracking features. Along with analysing the effect of using two different kinds of pretrained multilingual language models and different ways of pooling the tokenlevel representations, we also explore how contextual information affects the performance of the systems. Finally, we also explore if factors like augmenting linguistic information affect the predictions. Our submissions achieved an average MAE of 5.72 and ranked 5th in the shared task. The average MAE showed further reduction to 5.25 in post task evaluation.
• Abstract（参考訳）: 視線追跡データは、人間の認知、特に言語理解を研究する上で非常に有用な情報源である。 本稿では,cmcl 2022における視線追跡情報予測のための共有タスクについて述べる。 bert や xlm などの事前学習モデルを用いた実験と,これらの表現を用いた4つの視線追跡特徴の予測方法について述べる。 事前訓練された2種類の多言語言語モデルとトークンレベル表現のプール方法の効果を分析するとともに、文脈情報がシステムの性能に与える影響についても検討する。 最後に,言語情報強化などの要因が予測に与える影響についても検討する。 提案は平均5.72のMAEを達成し,共有タスクでは5位となった。 作業後評価では,MAEは5.25にさらに低下した。

関連論文リスト

• Multilingual Diversity Improves Vision-Language Representations [66.41030381363244]
  このデータセットの事前トレーニングは、ImageNet上で英語のみまたは英語が支配するデータセットを使用してパフォーマンスが向上する。 GeoDEのような地理的に多様なタスクでは、アフリカから得られる最大の利益とともに、すべての地域における改善も観察します。
  論文  参考訳（メタデータ） (2024-05-27T08:08:51Z)
• Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It) [2.6150740794754155]
  文の構造的言語特性を予測する中間タスクにおけるT5モデルの微調整が,文レベルの複雑さを予測する目的タスクの性能を変化させるかどうかを検討する。 言語と言語間構成の両方で得られた結果は、言語的に動機付けられた中間微調整が、特により小さなモデルや限られたデータ可用性を持つシナリオに適用した場合、一般的に目標タスクのパフォーマンスにプラスの影響を及ぼすことを示している。
  論文  参考訳（メタデータ） (2024-02-27T15:34:15Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• CLIP-ViP: Adapting Pre-trained Image-Text Model to Video-Language Representation Alignment [146.3128011522151]
  本稿では,CLIP,すなわちCLIP-ViPに基づいて,ビデオプロキシ機構を備えたOmniクロスモーダル学習手法を提案する。 提案手法は,ビデオテキスト検索におけるCLIPの性能を大きなマージンで向上させる。 MSR-VTT, DiDeMo, LSMDC, ActivityNet など,様々なデータセット上でのSOTA結果も得られた。
  論文  参考訳（メタデータ） (2022-09-14T05:47:02Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Zero and Few-shot Learning for Author Profiling [4.208594148115529]
  著者プロファイルは、言語がどのように人々間で共有されるかを分析することによって、著者の特徴を分類する。 スペイン語と英語のいくつかのプロファイリングタスクにおいて,包含度に基づくゼロと少数ショットの異なるモデルを探索し,システムの評価を行う。
  論文  参考訳（メタデータ） (2022-04-22T07:22:37Z)
• UMass PCL at SemEval-2022 Task 4: Pre-trained Language Model Ensembles for Detecting Patronizing and Condescending Language [0.0]
  PCL(Patronizing and condescending Language)は至る所にあるが、メディアによる脆弱なコミュニティへの利用に焦点を当てることは滅多にない。 本稿では,SemEval 2022 Task 4: Patronizing and Condescending Language Detectionに提出された言語検出システムについて述べる。
  論文  参考訳（メタデータ） (2022-04-18T13:22:10Z)
• Zero Shot Crosslingual Eye-Tracking Data Prediction using Multilingual Transformer Models [0.0]
  本稿では,多言語データセットの読解パターンを予測するCMCL 2022共有タスクについて述べる。 本モデルでは, 平均偏差と標準偏差の統計的測度を予測するために, 変圧器のテキスト表現と回帰層を用いた手作業による特徴量を用いる。 エンド・ツー・エンドのモデルをトレーニングし、異なる言語から意味のある情報を抽出し、2つの別々のデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2022-03-30T17:11:48Z)
• TorontoCL at CMCL 2021 Shared Task: RoBERTa with Multi-Stage Fine-Tuning for Eye-Tracking Prediction [25.99947358445936]
  本稿では, CMCL 2021共有課題に対する人間読影パターンの予測について述べる。 我々のモデルは5つの視線追跡特徴を予測するために回帰層を持つRoBERTaを用いている。 私たちの最終提出は3.929のMAEスコアを達成し、このタスクに参加した13チームのうち3位を獲得しました。
  論文  参考訳（メタデータ） (2021-04-15T05:29:13Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。