論文の概要: Tapping the Potential of Coherence and Syntactic Features in Neural Models for Automatic Essay Scoring

• arxiv url: http://arxiv.org/abs/2211.13373v1
• Date: Thu, 24 Nov 2022 02:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:59:15.401175
• Title: Tapping the Potential of Coherence and Syntactic Features in Neural Models for Automatic Essay Scoring
• Title（参考訳）: 自動エッセイスコアリングのためのニューラルモデルにおけるコヒーレンスと構文特徴のタッピング
• Authors: Xinying Qiu, Shuxuan Liao, Jiajun Xie, Jian-Yun Nie
• Abstract要約: 我々は,エッセイコヒーレンスの特徴を抽出し,表現するための新しい手法を提案する。 本稿では, BERT モデルの拡張に構文的特徴密度埋め込みを適用し, AES のハイブリッド手法における最高の性能を実現する。
• 参考スコア（独自算出の注目度）: 16.24421485426685
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the prompt-specific holistic score prediction task for Automatic Essay Scoring, the general approaches include pre-trained neural model, coherence model, and hybrid model that incorporate syntactic features with neural model. In this paper, we propose a novel approach to extract and represent essay coherence features with prompt-learning NSP that shows to match the state-of-the-art AES coherence model, and achieves the best performance for long essays. We apply syntactic feature dense embedding to augment BERT-based model and achieve the best performance for hybrid methodology for AES. In addition, we explore various ideas to combine coherence, syntactic information and semantic embeddings, which no previous study has done before. Our combined model also performs better than the SOTA available for combined model, even though it does not outperform our syntactic enhanced neural model. We further offer analyses that can be useful for future study.
• Abstract（参考訳）: Automatic Essay Scoringのプロンプト固有の総合スコア予測タスクでは、トレーニング済みのニューラルモデル、コヒーレンスモデル、ニューラルモデルに構文的特徴を組み込んだハイブリッドモデルなどが一般的なアプローチである。 本稿では,最先端のaesコヒーレンスモデルに適合する素早い学習nspを用いて,エッセイコヒーレンス特徴を抽出・表現する新しい手法を提案する。 BERTモデルの拡張に構文的特徴密度埋め込みを適用し,AESのハイブリッド手法における最高の性能を実現する。 さらに,コヒーレンス,構文情報,セマンティック埋め込みを組み込むための様々なアイデアについても検討する。 我々の組み合わせモデルは、我々の構文強化ニューラルモデルよりも優れていないにもかかわらず、組み合わせモデルで利用可能なSOTAよりも優れた性能を発揮する。 今後の研究に有用な分析も提供します。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Hybrid Training Approaches for LLMs: Leveraging Real and Synthetic Data to Enhance Model Performance in Domain-Specific Applications [0.0]
  本研究では,超微調整型大規模言語モデル(LLM)のハイブリッドアプローチについて検討する。 転写された実データと高品質な合成セッションを組み合わせたデータセットを利用することで、ドメイン固有の実データの制限を克服することを目的とした。 本研究は,基本基礎モデル,実データで微調整されたモデル,ハイブリッド微調整されたモデルという3つのモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-11T18:16:03Z)
• Information-Theoretic Distillation for Reference-less Summarization [67.51150817011617]
  本稿では,要約のための情報理論的目的に基づいて,強力な要約器を蒸留する新しい枠組みを提案する。 我々は,教師モデルとしてPythia-2.8Bから出発する。 我々は,ChatGPTと競合する5億8800万のパラメータしか持たないコンパクトだが強力な要約器に到達した。
  論文  参考訳（メタデータ） (2024-03-20T17:42:08Z)
• Improving the TENOR of Labeling: Re-evaluating Topic Models for Content Analysis [5.757610495733924]
  対話型タスクベース設定において,ニューラル,教師付き,古典的なトピックモデルの最初の評価を行う。 現在の自動メトリクスは、トピックモデリング機能の完全な図を提供していないことを示す。
  論文  参考訳（メタデータ） (2024-01-29T17:54:04Z)
• Syntax-Informed Interactive Model for Comprehensive Aspect-Based Sentiment Analysis [0.0]
  総合ABSAのためのシンタクティック・依存性強化マルチタスクインタラクション・アーキテクチャ(SDEMTIA)を提案する。 我々のアプローチは、SDEIN(Syntactic Dependency Embedded Interactive Network)を用いた構文知識(依存関係と型)を革新的に活用する。 また,学習効率を高めるために,マルチタスク学習フレームワークに,新規で効率的なメッセージパッシング機構を組み込んだ。
  論文  参考訳（メタデータ） (2023-11-28T16:03:22Z)
• Does Synthetic Data Make Large Language Models More Efficient? [0.0]
  本稿では,NLPにおける合成データ生成のニュアンスについて考察する。 データ拡張の可能性や構造化品種の導入など、その利点を強調します。 テンプレートベースの合成データが現代の変圧器モデルの性能に与える影響を実証する。
  論文  参考訳（メタデータ） (2023-10-11T19:16:09Z)
• Hybrid Feature- and Similarity-Based Models for Prediction and Interpretation using Large-Scale Observational Data [0.0]
  教師付き学習のためのハイブリッド機能と類似性に基づくモデルを提案する。 提案したハイブリッドモデルは,カーネル部分の疎性誘導ペナルティを伴う凸最適化に適合する。 我々は,本モデルと,合成データを用いた特徴的および類似性に基づくアプローチとを比較し,孤独感や社会的孤立のリスクを予測するためにEHRデータを用いた。
  論文  参考訳（メタデータ） (2022-04-12T20:37:03Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。