論文の概要: Ensemble BERT: A student social network text sentiment classification model based on ensemble learning and BERT architecture

• arxiv url: http://arxiv.org/abs/2408.04849v1
• Date: Fri, 9 Aug 2024 03:57:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 16:38:47.709889
• Title: Ensemble BERT: A student social network text sentiment classification model based on ensemble learning and BERT architecture
• Title（参考訳）: Ensemble BERT: アンサンブル学習とBERTアーキテクチャに基づく学生用ソーシャルネットワークテキスト感情分類モデル
• Authors: Kai Jiang, Honghao Yang, Yuexian Wang, Qianru Chen, Yiming Luo,
• Abstract要約: 本稿では,BERTに基づく新たなアンサンブル学習ネットワークを提案する。 本研究では,中学生のソーシャル・ネットワーク・テキストの感情傾向を分類する作業に本手法を適用した。
• 参考スコア（独自算出の注目度）: 7.314275018036415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The mental health assessment of middle school students has always been one of the focuses in the field of education. This paper introduces a new ensemble learning network based on BERT, employing the concept of enhancing model performance by integrating multiple classifiers. We trained a range of BERT-based learners, which combined using the majority voting method. We collect social network text data of middle school students through China's Weibo and apply the method to the task of classifying emotional tendencies in middle school students' social network texts. Experimental results suggest that the ensemble learning network has a better performance than the base model and the performance of the ensemble learning model, consisting of three single-layer BERT models, is barely the same as a three-layer BERT model but requires 11.58% more training time. Therefore, in terms of balancing prediction effect and efficiency, the deeper BERT network should be preferred for training. However, for interpretability, network ensembles can provide acceptable solutions.
• Abstract（参考訳）: 中学生のメンタルヘルス評価は、常に教育分野の焦点の1つとなっている。 本稿では,複数の分類器を統合することでモデル性能を向上させる概念を取り入れた,BERTに基づく新しいアンサンブル学習ネットワークを提案する。 我々はBERTベースの学習者の範囲を訓練し,多数決法を併用した。 中学生のソーシャルネットワークテキストデータを中国のWeiboを通じて収集し、中学生のソーシャルネットワークテキストの感情傾向を分類する作業に適用する。 実験結果から,アンサンブル学習ネットワークはベースモデルよりも優れた性能を示し,単一層BERTモデルによるアンサンブル学習モデルの性能は3層BERTモデルとほとんど変わらないが,11.58%のトレーニング時間を必要とすることがわかった。 したがって、予測効果と効率のバランスをとる観点からは、より深いBERTネットワークが訓練に好まれるべきである。 しかし、解釈可能性のため、ネットワークアンサンブルは許容できる解決策を提供することができる。

関連論文リスト

• Ensemble Learning via Knowledge Transfer for CTR Prediction [9.891226177252653]
  本稿では,より大規模なアンサンブルネットワークを調査し,一般的なアンサンブル学習法に特有の3つの制約を見出す。 我々は,新しいモデルに依存しないアンサンブル知識伝達フレームワーク(EKTF)を提案する。 実世界の5つのデータセットの実験結果は、EKTFの有効性と互換性を示している。
  論文  参考訳（メタデータ） (2024-11-25T06:14:20Z)
• Self-Regulated Data-Free Knowledge Amalgamation for Text Classification [9.169836450935724]
  そこで我々は,複数の教師モデルから学習できる軽量な学生ネットワークを構築した。 そこで本研究では,各教師に適したテキストデータを生成するモデリングフレームワークSTRATANETを提案する。 本手法は,ラベルやドメインの異なる3つのベンチマークテキスト分類データセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-06-16T21:13:30Z)
• JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
  半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。 擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。 我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-23T05:43:35Z)
• Competitive Ensembling Teacher-Student Framework for Semi-Supervised Left Atrium MRI Segmentation [8.338801567668233]
  半教師付き学習は、専門家から豊富な注釈を取得する必要性を効果的に軽減するため、医療画像のセグメンテーションが大幅に進歩している。 本稿では,3次元MR画像から左心房分節を半教師する簡易で効率的な競争力のある教員養成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-21T09:23:34Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
  本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。 私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。 我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
  論文  参考訳（メタデータ） (2022-09-15T04:54:02Z)
• Semi-Decentralized Federated Edge Learning for Fast Convergence on Non-IID Data [14.269800282001464]
  フェデレーションエッジラーニング(FEEL)は、クラウドベースの機械学習ソリューションにおいて、大きな通信遅延を低減する効果的なアプローチとして登場した。 FEELの新しい枠組み、すなわち半分散型フェデレーションエッジラーニング(SD-FEEL)について検討する。 異なるエッジクラスタにまたがるモデルアグリゲーションを可能にすることで、SD-FEELはトレーニングのレイテンシを低減できるFEELのメリットを享受できる。
  論文  参考訳（メタデータ） (2021-04-26T16:11:47Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)
• End-To-End Graph-based Deep Semi-Supervised Learning [7.151859287072378]
  グラフの品質は、グラフノード、エッジ、類似度測定(エッジウェイト)の3つの重要な要素によって共同で決定される エンドツーエンドの学習方式で3つの要素を同時に最適化する,グラフに基づく半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2020-02-23T12:32:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。