論文の概要: Leveraging recent advances in Pre-Trained Language Models forEye-Tracking Prediction

• arxiv url: http://arxiv.org/abs/2110.04475v1
• Date: Sat, 9 Oct 2021 06:46:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-17 03:05:19.533185
• Title: Leveraging recent advances in Pre-Trained Language Models forEye-Tracking Prediction
• Title（参考訳）: 視線追跡予測のための事前学習言語モデルの最近の進歩活用
• Authors: Varun Madhavan, Aditya Girish Pawate, Shraman Pal, Abhranil Chandra
• Abstract要約: Natural Language Pro-cessingは、視線追跡データなどの人間由来の行動データを使用してニューラルネットを強化し、構文とセマンティクスにまたがるさまざまなタスクを解決する。 本稿では、ZuCo 1.0とZuCo 2.0データセットを用いて、異なる言語モデルを探り、各単語について、その意味について、これらの用語の特徴を直接予測する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cognitively inspired Natural Language Pro-cessing uses human-derived behavioral datalike eye-tracking data, which reflect the seman-tic representations of language in the humanbrain to augment the neural nets to solve arange of tasks spanning syntax and semanticswith the aim of teaching machines about lan-guage processing mechanisms. In this paper,we use the ZuCo 1.0 and ZuCo 2.0 dataset con-taining the eye-gaze features to explore differ-ent linguistic models to directly predict thesegaze features for each word with respect to itssentence. We tried different neural networkmodels with the words as inputs to predict thetargets. And after lots of experimentation andfeature engineering finally devised a novel ar-chitecture consisting of RoBERTa Token Clas-sifier with a dense layer on top for languagemodeling and a stand-alone model consistingof dense layers followed by a transformer layerfor the extra features we engineered. Finally,we took the mean of the outputs of both thesemodels to make the final predictions. We eval-uated the models using mean absolute error(MAE) and the R2 score for each target.
• Abstract（参考訳）: 認知的にインスピレーションを受けた自然言語プロセシングは、人間の行動データのような視線追跡データを使用し、人間の脳における言語のセマンティックな表現を反映して、構文や意味論にまたがるタスクを、機械にランゲージ処理機構を教えることを目的としてニューラルネットワークを増強する。 本稿では,ZuCo 1.0とZuCo 2.0データセットを用いて眼球運動の特徴を包含し,異なる言語モデルを探索し,各単語の視覚的特徴を直接予測する。 我々は、ターゲットを予測するために単語を入力として、異なるニューラルネットワークモデルを試した。 そして、多くの実験と機能工学が、ついにRoBERTa Token Clas-sifierと言語モデリングのための高層層と、高層層からなるスタンドアロンモデルと、私たちが設計した追加機能のためのトランスフォーマー層からなる新しいアーキテクチュアを考案した。 最後に、これらのモデルの両方の出力を平均として、最終的な予測を行った。 平均絶対誤差(MAE)と各目標に対するR2スコアを用いてモデルを評価した。

関連論文リスト

• Unveiling Multilinguality in Transformer Models: Exploring Language Specificity in Feed-Forward Networks [12.7259425362286]
  多言語モデルがキー値記憶をどのように活用するかを検討する。 2つ以上の言語で訓練された自己回帰モデルに対して、すべてのニューロン(層全体)は全ての言語に等しく反応するのか? その結果,ネットワークの入力や出力に最も近い層は,中間層に比べて言語固有の振る舞いを示す傾向があることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T06:45:00Z)
• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Zero Shot Crosslingual Eye-Tracking Data Prediction using Multilingual Transformer Models [0.0]
  本稿では,多言語データセットの読解パターンを予測するCMCL 2022共有タスクについて述べる。 本モデルでは, 平均偏差と標準偏差の統計的測度を予測するために, 変圧器のテキスト表現と回帰層を用いた手作業による特徴量を用いる。 エンド・ツー・エンドのモデルをトレーニングし、異なる言語から意味のある情報を抽出し、2つの別々のデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2022-03-30T17:11:48Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。