論文の概要: Corruption Is Not All Bad: Incorporating Discourse Structure into Pre-training via Corruption for Essay Scoring

• arxiv url: http://arxiv.org/abs/2010.06137v1
• Date: Tue, 13 Oct 2020 03:17:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 23:30:02.312269
• Title: Corruption Is Not All Bad: Incorporating Discourse Structure into Pre-training via Corruption for Essay Scoring
• Title（参考訳）: 崩壊は必ずしも悪いことではない:Essay ScoringのためのCorruptionによるプレトレーニングに談話構造を組み込むこと
• Authors: Farjana Sultana Mim, Naoya Inoue, Paul Reisert, Hiroki Ouchi and Kentaro Inui
• Abstract要約: 本稿では,エッセイの談話構造をコヒーレンスと凝集の観点から捉えるための教師なし事前学習手法を提案する。 提案手法は,エッセイ評価課題における最先端の成果を実現する。
• 参考スコア（独自算出の注目度）: 30.369858107620715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing approaches for automated essay scoring and document representation learning typically rely on discourse parsers to incorporate discourse structure into text representation. However, the performance of parsers is not always adequate, especially when they are used on noisy texts, such as student essays. In this paper, we propose an unsupervised pre-training approach to capture discourse structure of essays in terms of coherence and cohesion that does not require any discourse parser or annotation. We introduce several types of token, sentence and paragraph-level corruption techniques for our proposed pre-training approach and augment masked language modeling pre-training with our pre-training method to leverage both contextualized and discourse information. Our proposed unsupervised approach achieves new state-of-the-art result on essay Organization scoring task.
• Abstract（参考訳）: 既存のエッセイの自動採点と文書表現学習のアプローチは、談話構造をテキスト表現に組み込むために、談話パーサーに依存している。 しかし、特に学生エッセイなどの騒がしいテキストで使用される場合、パーサーのパフォーマンスは必ずしも適切ではない。 本稿では,エッセイの言論構造を,言論パーザやアノテーションを必要としない一貫性と凝集度で捉えるための教師なし事前学習手法を提案する。 提案する事前学習手法において,いくつかのトークン,文,段落レベルの腐敗手法を導入するとともに,文脈情報と談話情報の両方を活用するために,事前学習によるマスク言語モデリングを補強する。 提案手法は,エッセイ組織スコアリングタスクにおいて,新たな最先端結果を達成する。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• Semi-supervised News Discourse Profiling with Contrastive Learning [27.28989421841165]
  ニュース談話のプロファイリングは、ニュース記事において各文の出来事に関連した役割を精査しようとする。 本稿では,ニュース談話のプロファイリング課題に対処するために,ICLD (Intra-document Contrastive Learning with Distillation) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-20T23:51:34Z)
• Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
  本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。 我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。 我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-06T19:17:47Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Cascading and Direct Approaches to Unsupervised Constituency Parsing on Spoken Sentences [67.37544997614646]
  本研究は,教師なし音声補聴における最初の研究である。 目的は, 音声文の階層的構文構造を, 選挙区解析木の形で決定することである。 正確なセグメンテーションだけでは、音声文を正確に解析するのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:57:22Z)
• Discourse Analysis for Evaluating Coherence in Video Paragraph Captions [99.37090317971312]
  ビデオ段落のコヒーレンスを評価するための,新しい談話に基づく枠組みを検討中である。 ビデオのコヒーレンスに条件付き段落のコヒーレンスをモデル化する上で,ビデオの談話表現が中心となる。 実験の結果,提案手法は,ビデオ段落のコヒーレンスをベースライン法よりも有意に向上させることがわかった。
  論文  参考訳（メタデータ） (2022-01-17T04:23:08Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)
• Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
  本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。 本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-11T20:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。