論文の概要: Improving the Generalization Ability in Essay Coherence Evaluation through Monotonic Constraints

• arxiv url: http://arxiv.org/abs/2308.02506v1
• Date: Tue, 25 Jul 2023 08:26:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 01:18:39.732999
• Title: Improving the Generalization Ability in Essay Coherence Evaluation through Monotonic Constraints
• Title（参考訳）: 単調制約によるエッセイコヒーレンス評価における一般化能力の向上
• Authors: Chen Zheng, Huan Zhang, Yan Zhao, Yuxuan Lai
• Abstract要約: コヒーレンス(Coherence)は、テキストの可読性を評価する上で重要な側面であり、2つの主要な要因を通じて評価することができる。 2つの特徴抽出器を持つ回帰モデルからなるコヒーレンススコアリングモデルを提案する。 NLPCC 2023共有タスク7のトラック1で3位となった。
• 参考スコア（独自算出の注目度）: 22.311428543432605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coherence is a crucial aspect of evaluating text readability and can be assessed through two primary factors when evaluating an essay in a scoring scenario. The first factor is logical coherence, characterized by the appropriate use of discourse connectives and the establishment of logical relationships between sentences. The second factor is the appropriateness of punctuation, as inappropriate punctuation can lead to confused sentence structure. To address these concerns, we propose a coherence scoring model consisting of a regression model with two feature extractors: a local coherence discriminative model and a punctuation correction model. We employ gradient-boosting regression trees as the regression model and impose monotonicity constraints on the input features. The results show that our proposed model better generalizes unseen data. The model achieved third place in track 1 of NLPCC 2023 shared task 7. Additionally, we briefly introduce our solution for the remaining tracks, which achieves second place for track 2 and first place for both track 3 and track 4.
• Abstract（参考訳）: コヒーレンスはテキストの可読性を評価する上で重要な側面であり、スコアリングシナリオにおいてエッセイを評価する際に2つの主要な要因を通して評価することができる。 第1の要因は論理コヒーレンスであり、会話接続詞の適切な使用と文間の論理関係の確立が特徴である。 第二の要因は句読点の適切性であり、不適切な句読点が文構造を混乱させる可能性がある。 これらの問題に対処するため、局所的コヒーレンス判別モデルと句読点補正モデルという2つの特徴抽出器を持つ回帰モデルからなるコヒーレンススコアリングモデルを提案する。 回帰モデルとして勾配ブースト回帰木を用い,入力特性に単調性制約を課す。 その結果,提案モデルが未発見データをより一般化できることが判明した。 このモデルはnlpcc 2023共有タスク7のトラック1で3位を達成した。 また、残りの線路について簡単な解法を紹介し、3番線と4番線の両方で第2位、第1位となる。

関連論文リスト

• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• RDR: the Recap, Deliberate, and Respond Method for Enhanced Language Understanding [6.738409533239947]
  Recap、Deliberate、Respond(RDR)パラダイムは、ニューラルネットワークパイプラインに3つの異なる目的を組み込むことで、この問題に対処する。 これら3つのモデルをカスケードすることにより、ベンチマークをゲームする可能性を軽減し、基盤となるセマンティックパターンをキャプチャする堅牢な方法を確立する。 その結果,標準基準値の最大2%向上とともに,競争基準値と比較して性能が向上した。
  論文  参考訳（メタデータ） (2023-12-15T16:41:48Z)
• Towards Improving Faithfulness in Abstractive Summarization [37.19777407790153]
  本稿では,抽象的な要約における忠実度を改善するために,FES(Fithfulness Enhanced Summarization Model)を提案する。 我々のモデルはCNN/DMとXSumの実験において強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-10-04T19:52:09Z)
• SNaC: Coherence Error Detection for Narrative Summarization [73.48220043216087]
  SNaCは長文の微粒化アノテーションに根ざした物語コヒーレンス評価フレームワークである。 本稿では,生成した物語要約におけるコヒーレンスエラーの分類法を開発し,150冊の本や映画の脚本要約にまたがる6.6k文のスパンレベルアノテーションを収集する。 我々の研究は、最先端の要約モデルによって生成されるコヒーレンスエラーの最初の特徴と、群衆アノテータからコヒーレンス判断を引き出すためのプロトコルを提供する。
  論文  参考訳（メタデータ） (2022-05-19T16:01:47Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)
• Bayesian Topic Regression for Causal Inference [3.9082355007261427]
  観測テキストデータを用いた因果推論は、多くの研究領域で人気が高まっている。 本稿では,テキストと数値情報の両方を用いて結果変数をモデル化するベイズ的トピック回帰モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-11T16:40:43Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Realistic Evaluation Principles for Cross-document Coreference Resolution [19.95214898312209]
  我々は、モデルが標準ECB+データセットの合成トピック構造を利用するべきではないと主張している。 私たちは、より現実的な評価原則が競争モデルに与える影響を実証的に示します。
  論文  参考訳（メタデータ） (2021-06-08T09:05:21Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Evaluating Text Coherence at Sentence and Paragraph Levels [17.99797111176988]
  本稿では,既存の文順序付け手法の段落順序付けタスクへの適応について検討する。 また、ミニデータセットとノイズの多いデータセットを人工的に作成することで、既存のモデルの学習性と堅牢性を比較する。 我々は、リカレントグラフニューラルネットワークに基づくモデルがコヒーレンスモデリングの最適選択であると結論付けている。
  論文  参考訳（メタデータ） (2020-06-05T03:31:49Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。