論文の概要: An Ensemble Approach to Question Classification: Integrating Electra
Transformer, GloVe, and LSTM
- arxiv url: http://arxiv.org/abs/2308.06828v1
- Date: Sun, 13 Aug 2023 18:14:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 15:05:25.798024
- Title: An Ensemble Approach to Question Classification: Integrating Electra
Transformer, GloVe, and LSTM
- Title(参考訳): 質問分類へのアンサンブルアプローチ:エレクトラ変換器、GloVe、LSTMの統合
- Authors: Sanad Aburass and Osama Dorgham
- Abstract要約: 本稿では,Electra,GloVe,LSTMといった最先端モデルを用いた質問分類のための新しいアンサンブル手法を提案する。
提案したモデルは,質問分類タスクの確立したベンチマークであるTRECデータセットを用いて,訓練および評価を行う。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces a novel ensemble approach for question classification
using state-of-the-art models -- Electra, GloVe, and LSTM. The proposed model
is trained and evaluated on the TREC dataset, a well-established benchmark for
question classification tasks. The ensemble model combines the strengths of
Electra, a transformer-based model for language understanding, GloVe, a global
vectors for word representation, and LSTM, a recurrent neural network variant,
providing a robust and efficient solution for question classification.
Extensive experiments were carried out to compare the performance of the
proposed ensemble approach with other cutting-edge models, such as BERT,
RoBERTa, and DistilBERT. Our results demonstrate that the ensemble model
outperforms these models across all evaluation metrics, achieving an accuracy
of 0.8 on the test set. These findings underscore the effectiveness of the
ensemble approach in enhancing the performance of question classification
tasks, and invite further exploration of ensemble methods in natural language
processing.
- Abstract(参考訳): 本稿では,Electra,GloVe,LSTMといった最先端モデルを用いた質問分類手法を提案する。
提案モデルは,質問分類タスクの確立されたベンチマークであるtrecデータセット上でトレーニングおよび評価を行う。
アンサンブルモデルは、言語理解のためのトランスフォーマーベースのモデルであるElectra、単語表現のためのグローバルベクトルであるGloVe、繰り返しニューラルネットワークの変種であるLSTMの強みを組み合わせて、質問分類のための堅牢で効率的なソリューションを提供する。
提案するアンサンブルアプローチとBERT,RoBERTa,DistilBERTといった他の最先端モデルとの比較実験を行った。
その結果,アンサンブルモデルはすべての評価指標でこれらのモデルよりも優れており,テストセットの精度は0.8。
これらの知見は,質問分類タスクの性能向上におけるアンサンブルアプローチの有効性を強調し,自然言語処理におけるアンサンブル手法のさらなる探求を招いた。
関連論文リスト
- Group-wise Prompting for Synthetic Tabular Data Generation using Large Language Models [39.347666307218006]
本研究では,合成データを生成するために,Large Language Models (LLMs) を用いた簡易かつ効果的な手法を提案する。
本稿では,LLMのテキスト内学習機能を活用した,CSV形式のグループワイドプロンプト手法を提案する。
提案したランダムな単語置換戦略は,単調なカテゴリー値の扱いを大幅に改善する。
論文 参考訳(メタデータ) (2024-04-15T17:49:16Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳(メタデータ) (2024-01-23T18:59:21Z) - A Review of Hybrid and Ensemble in Deep Learning for Natural Language
Processing [0.5919433278490629]
レビューでは、各タスクを体系的に導入し、キーアーキテクチャをリカレントニューラルネットワーク(RNN)からBERTのようなトランスフォーマーベースのモデルに記述する。
アンサンブル技術の適用性を強調し、様々なNLPアプリケーションを強化する能力を強調している。
計算オーバーヘッド、オーバーフィッティング、モデル解釈複雑性などの実装上の課題に対処する。
論文 参考訳(メタデータ) (2023-12-09T14:49:34Z) - On Significance of Subword tokenization for Low Resource and Efficient
Named Entity Recognition: A case study in Marathi [1.6383036433216434]
低リソース言語のためのNERに焦点をあて、インド語Marathiの文脈におけるケーススタディを示す。
BERTベースのサブワードトークン化器をバニラCNN/LSTMモデルに統合することで,効率的なNERのためのハイブリッド手法を提案する。
従来の単語ベースのトークン化器をBERTトークン化器に置き換えるという単純なアプローチは,バニラ単層モデルの精度をBERTのような深層事前学習モデルの精度に近づけることを示す。
論文 参考訳(メタデータ) (2023-12-03T06:53:53Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - Syntactic and Semantic-driven Learning for Open Information Extraction [42.65591370263333]
正確で高カバレッジのニューラルオープンIEシステムを構築する上で最大のボトルネックの1つは、大きなラベル付きコーパスの必要性である。
そこで本研究では,人間に反するデータを使わずにオープンなIEモデルを学習するシンタクティクスとセマンティック駆動型学習手法を提案する。
論文 参考訳(メタデータ) (2021-03-05T02:59:40Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳(メタデータ) (2020-09-08T21:55:22Z) - Learning to Learn Kernels with Variational Random Features [118.09565227041844]
メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。
変分推論問題としてメタVRFの最適化を定式化する。
MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
論文 参考訳(メタデータ) (2020-06-11T18:05:29Z) - Adaptive Name Entity Recognition under Highly Unbalanced Data [5.575448433529451]
我々は,2方向LSTM (BI-LSTM) 上に積み重ねた条件付きランダムフィールド (CRF) 層からなるニューラルアーキテクチャについて実験を行った。
WeakクラスとStrongクラスを2つの異なるセットに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを提案する。
論文 参考訳(メタデータ) (2020-03-10T06:56:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。