論文の概要: Stacking Neural Network Models for Automatic Short Answer Scoring

• arxiv url: http://arxiv.org/abs/2010.11092v1
• Date: Wed, 21 Oct 2020 16:00:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 22:48:00.715764
• Title: Stacking Neural Network Models for Automatic Short Answer Scoring
• Title（参考訳）: 自動短答スコアリングのための重ね合わせニューラルネットワークモデル
• Authors: Rian Adam Rajagede and Rochana Prih Hastuti
• Abstract要約: 本稿では,ニューラルネットワークとXGBoostに基づく重ね合わせモデルを用いて文埋め込み機能を持つ分類プロセスを提案する。 ベストモデルではF1スコアの0.821が、同じデータセットで前の作業を上回った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic short answer scoring is one of the text classification problems to assess students' answers during exams automatically. Several challenges can arise in making an automatic short answer scoring system, one of which is the quantity and quality of the data. The data labeling process is not easy because it requires a human annotator who is an expert in their field. Further, the data imbalance process is also a challenge because the number of labels for correct answers is always much less than the wrong answers. In this paper, we propose the use of a stacking model based on neural network and XGBoost for classification process with sentence embedding feature. We also propose to use data upsampling method to handle imbalance classes and hyperparameters optimization algorithm to find a robust model automatically. We use Ukara 1.0 Challenge dataset and our best model obtained an F1-score of 0.821 exceeding the previous work at the same dataset.
• Abstract（参考訳）: 自動短時間回答スコアリングは、試験中の生徒の回答を自動的に評価するテキスト分類問題の1つである。 データの量と品質を自動的短解スコアリングシステムにすることで、いくつかの課題が発生する可能性がある。 データラベリングプロセスは、分野の専門家である人間アノテータを必要とするため、簡単ではない。 さらに、正しい回答のラベルの数は、常に間違った回答よりもはるかに少ないので、データ不均衡プロセスも課題である。 本稿では,ニューラルネットワークとXGBoostに基づく重ね合わせモデルを用いて文埋め込み機能を有する分類プロセスを提案する。 また,不均衡クラスを扱うためにデータアップサンプリング法と,ロバストモデルを自動的に見つけるためのハイパーパラメータ最適化アルゴリズムを提案する。 我々はUkara 1.0 Challengeデータセットを使用し、私たちの最良のモデルは、前のデータセットよりも0.821のF1スコアを得た。

関連論文リスト

• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Neural Networks Against (and For) Self-Training: Classification with Small Labeled and Large Unlabeled Sets [11.385682758047775]
  自己学習の弱点の1つは意味的ドリフト問題である。 擬似ラベルの役割を再構築し,階層的な情報順序を創出する。 自己学習における重要なステップは、自信の予測を使用して、最適な候補の擬似ラベルを選択することである。
  論文  参考訳（メタデータ） (2023-12-31T19:25:34Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• A Lightweight Method to Generate Unanswerable Questions in English [18.323248259867356]
  本稿では,英語における疑問生成のための簡易なデータ拡張手法について検討する。 回答可能な質問に対して、Antonymとエンティティスワップを実行します。 従来の最先端技術と比較すると、トレーニング不要で軽量な戦略で生成されたデータにより、より良いモデルが得られます。
  論文  参考訳（メタデータ） (2023-10-30T10:14:52Z)
• Cost-Effective Online Contextual Model Selection [14.094350329970537]
  我々は,このタスクを,学習者が文脈とともにラベルのないデータポイントを受信する,オンラインコンテキストアクティブモデル選択問題として定式化する。 目標は、ラベルの過剰な量を得ることなく、任意のコンテキストに対して最良のモデルを出力することである。 本稿では,適応モデル選択のためのポリシークラスに定義された新しい不確実性サンプリングクエリ基準に依存する,文脈型アクティブモデル選択アルゴリズム(CAMS)を提案する。
  論文  参考訳（メタデータ） (2022-07-13T08:22:22Z)
• Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
  オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。 再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
  論文  参考訳（メタデータ） (2022-04-15T14:51:41Z)
• Less is More: Data-Efficient Complex Question Answering over Knowledge Bases [26.026065844896465]
  本稿では,複雑な質問応答のためのデータ効率向上学習フレームワークであるNS-CQAモデルを提案する。 我々のフレームワークはニューラルジェネレータとシンボリックエグゼキュータで構成されており、自然言語の質問を原始的なアクションのシーケンスに変換する。 近年の大規模質問応答データセットであるCQAと,マルチホップ質問応答データセットであるWebQuestionsSPの2つのデータセットで評価を行った。
  論文  参考訳（メタデータ） (2020-10-29T18:42:44Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)
• The World is Not Binary: Learning to Rank with Grayscale Data for Dialogue Response Selection [55.390442067381755]
  人間の努力なしに、グレースケールのデータを自動的に構築できることが示される。 本手法では,自動グレースケールデータ生成装置として,市販の応答検索モデルと応答生成モデルを用いる。 3つのベンチマークデータセットと4つの最先端マッチングモデルの実験は、提案手法が大幅に、一貫したパフォーマンス改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2020-04-06T06:34:54Z)
• Training Question Answering Models From Synthetic Data [26.91650323300262]
  本研究は, 人工問合せと人為的問合せのギャップを狭めることを目的としている。 我々は830億のパラメータ GPT-2 モデルにより生成された合成コーパスから質問や回答を合成する。 人間の監督にアクセスできず、他のモデルのみにアクセスできないため、完全にモデル生成データに基づいて、アート質問応答ネットワークの状態をトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2020-02-22T01:49:27Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。