論文の概要: Pre-Trained Language Models Augmented with Synthetic Scanpaths for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2310.14676v1
• Date: Mon, 23 Oct 2023 08:15:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:41:27.383530
• Title: Pre-Trained Language Models Augmented with Synthetic Scanpaths for Natural Language Understanding
• Title（参考訳）: 自然言語理解のための合成スカンパスを付加した事前学習言語モデル
• Authors: Shuwen Deng, Paul Prasse, David R. Reich, Tobias Scheffer, Lena A. J\"ager
• Abstract要約: 我々は,合成スカンパス生成とスカンパス拡張言語モデルを統合するモデルを開発した。 提案手法は,基礎となる言語モデルより優れるだけでなく,実際の人間の視線データを付加した言語モデルに匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 3.6498648388765513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human gaze data offer cognitive information that reflects natural language comprehension. Indeed, augmenting language models with human scanpaths has proven beneficial for a range of NLP tasks, including language understanding. However, the applicability of this approach is hampered because the abundance of text corpora is contrasted by a scarcity of gaze data. Although models for the generation of human-like scanpaths during reading have been developed, the potential of synthetic gaze data across NLP tasks remains largely unexplored. We develop a model that integrates synthetic scanpath generation with a scanpath-augmented language model, eliminating the need for human gaze data. Since the model's error gradient can be propagated throughout all parts of the model, the scanpath generator can be fine-tuned to downstream tasks. We find that the proposed model not only outperforms the underlying language model, but achieves a performance that is comparable to a language model augmented with real human gaze data. Our code is publicly available.
• Abstract（参考訳）: 人間の視線データは自然言語理解を反映した認知情報を提供する。 実際、人間のスキャンパスで言語モデルを拡張することは、言語理解を含む様々なNLPタスクに有益であることが証明されている。 しかし、テキストコーパスの豊富さは視線データの不足と対比されるため、このアプローチの適用性は阻害されている。 読解中にヒト様の走査パスを生成するためのモデルが開発されているが、NLPタスクにまたがる人工視線データの可能性はほとんど解明されていない。 本研究では,人間の視線データの必要性をなくし,合成スカンパス生成とスカンパス提示言語モデルを統合するモデルを開発した。 モデルのエラー勾配はモデルのすべての部分にわたって伝達されるため、スキャンパス生成器は下流タスクに微調整することができる。 提案モデルは,基礎となる言語モデルに勝るだけでなく,実際の人間の視線データを付加した言語モデルに匹敵する性能を実現する。 私たちのコードは公開されています。

関連論文リスト

• Detecting Subtle Differences between Human and Model Languages Using Spectrum of Relative Likelihood [5.404146472517001]
  本研究は、絶対値ではなく相対的確率値を用いることにより、新たな視点を提供する。 本稿では,教師型と教師型という2つの分類法を用いた検出手法を提案する。 また,人間の言語とモデル言語との微妙な差異を明らかにし,心理言語学研究の理論的ルーツを見出すことができる。
  論文  参考訳（メタデータ） (2024-06-28T12:28:52Z)
• Few-Shot Detection of Machine-Generated Text using Style Representations [4.326503887981912]
  人間の文章を巧みに模倣する言語モデルは、虐待のかなりのリスクを負う。 そこで本研究では,人間が作成したテキストから推定した書体スタイルの表現を活用することを提案する。 また,人間と機械作家の区別にも有効であることがわかった。
  論文  参考訳（メタデータ） (2024-01-12T17:26:51Z)
• ScanDL: A Diffusion Model for Generating Synthetic Scanpaths on Texts [0.5520145204626482]
  読書における眼球運動は精神言語研究において重要な役割を担っている。 眼球運動データの不足とアプリケーション時の利用不可能は、この研究のラインにとって大きな課題となっている。 ScanDLはテキスト上で合成スキャンパスを生成する新しい離散シーケンス対シーケンス拡散モデルである。
  論文  参考訳（メタデータ） (2023-10-24T07:52:19Z)
• Transparency at the Source: Evaluating and Interpreting Language Models With Access to the True Distribution [4.01799362940916]
  人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。 データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。 基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
  論文  参考訳（メタデータ） (2023-10-23T12:03:01Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Synthesizing Human Gaze Feedback for Improved NLP Performance [20.837790838762036]
  ScanTextGANは、テキスト上で人間のスキャンパスを生成するための新しいモデルである。 ScanTextGANにより生成されたスキャンパスは、人間の視線パターンにおいて有意な認知信号に近似できることを示す。
  論文  参考訳（メタデータ） (2023-02-11T15:34:23Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• Typical Decoding for Natural Language Generation [76.69397802617064]
  本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。 典型的なサンプリングでは,品質面での競争性能が期待できる。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。