論文の概要: Multi-Level Attention and Contrastive Learning for Enhanced Text Classification with an Optimized Transformer
- arxiv url: http://arxiv.org/abs/2501.13467v1
- Date: Thu, 23 Jan 2025 08:32:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:58:30.670222
- Title: Multi-Level Attention and Contrastive Learning for Enhanced Text Classification with an Optimized Transformer
- Title（参考訳）: 最適化変換器を用いたテキスト分類のためのマルチレベル注意とコントラスト学習
- Authors: Jia Gao, Guiran Liu, Binrong Zhu, Shicheng Zhou, Hongye Zheng, Xiaoxuan Liao,
- Abstract要約: 本稿では,テキスト分類タスクにおけるモデルの性能と効率を改善するために,改良されたトランスフォーマーに基づくテキスト分類アルゴリズムについて検討する。
改良されたTransformerモデルは、BiLSTM、CNN、標準Transformer、BERTといった比較モデルよりも、分類精度、F1スコア、リコールレートで優れている。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: This paper studies a text classification algorithm based on an improved Transformer to improve the performance and efficiency of the model in text classification tasks. Aiming at the shortcomings of the traditional Transformer model in capturing deep semantic relationships and optimizing computational complexity, this paper introduces a multi-level attention mechanism and a contrastive learning strategy. The multi-level attention mechanism effectively models the global semantics and local features in the text by combining global attention with local attention; the contrastive learning strategy enhances the model's ability to distinguish between different categories by constructing positive and negative sample pairs while improving the classification effect. In addition, in order to improve the training and inference efficiency of the model on large-scale text data, this paper designs a lightweight module to optimize the feature transformation process and reduce the computational cost. Experimental results on the dataset show that the improved Transformer model outperforms the comparative models such as BiLSTM, CNN, standard Transformer, and BERT in terms of classification accuracy, F1 score, and recall rate, showing stronger semantic representation ability and generalization performance. The method proposed in this paper provides a new idea for algorithm optimization in the field of text classification and has good application potential and practical value. Future work will focus on studying the performance of this model in multi-category imbalanced datasets and cross-domain tasks and explore the integration wi
- Abstract（参考訳）: 本稿では,テキスト分類タスクにおけるモデルの性能と効率を改善するために,改良されたトランスフォーマーに基づくテキスト分類アルゴリズムについて検討する。
本稿では,深い意味関係を捉え,計算複雑性を最適化する従来のトランスフォーマーモデルの欠点に着目し,多段階の注意機構と対照的な学習戦略を導入する。
多段階のアテンションメカニズムは,グローバルなアテンションとローカルなアテンションを組み合わせることで,テキストのグローバルなセマンティクスとローカルな特徴を効果的にモデル化する。
さらに,大規模テキストデータにおけるモデルのトレーニングと推論効率を向上させるために,特徴変換プロセスの最適化と計算コストの削減を目的とした軽量モジュールを設計する。
その結果,改良されたTransformerモデルでは,BiLSTM,CNN,標準Transformer,BERTなどの比較モデルよりも,分類精度,F1スコア,リコールレートが優れ,セマンティック表現能力や一般化性能が向上していることがわかった。
本稿では,テキスト分類分野におけるアルゴリズム最適化の新しい考え方を提案する。
今後の研究は、マルチカテゴリ不均衡データセットとドメイン間タスクにおけるこのモデルの性能の研究に焦点をあて、統合wiを探求する。
関連論文リスト
- Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳（メタデータ） (2024-06-24T23:00:58Z) - Research on Named Entity Recognition in Improved transformer with R-Drop
structure [3.677017987610888]
本稿では,XLNet-Transformer-Rモデルを提案する。
相対的な位置エンコーディングを備えたTransformerエンコーダが組み合わされ、長いテキストを処理するモデルの能力が向上する。
オーバーフィッティングを防止するため、R-Drop構造を用いて一般化能力を向上させる。
論文 参考訳（メタデータ） (2023-06-14T07:34:27Z) - Adversarial Adaptation for French Named Entity Recognition [21.036698406367115]
類似の領域や一般コーパスに対する逆適応を用いたトランスフォーマーに基づくフランス語NERアプローチを提案する。
我々のアプローチでは、同じドメインや混合ドメインから大規模にラベル付けされていないコーパスを使って、より良い機能を学ぶことができます。
また, 大規模未ラベルコーパスに対する逆適応は, より小さなコーパスで事前学習したTransformerモデルを用いて, 性能低下を軽減できることを示す。
論文 参考訳（メタデータ） (2023-01-12T18:58:36Z) - Adaptive Meta-learner via Gradient Similarity for Few-shot Text
Classification [11.035878821365149]
本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。
いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
論文 参考訳（メタデータ） (2022-09-10T16:14:53Z) - Pre-Training a Graph Recurrent Network for Language Representation [34.4554387894105]
本稿では,言語モデルの事前学習のためのグラフリカレントネットワークについて考察し,各シーケンスのグラフ構造を局所的なトークンレベルの通信で構築する。
我々のモデルは、既存の注意に基づくモデルよりもコンテキスト化された特徴冗長性が少なく、より多様な出力を生成することができる。
論文 参考訳（メタデータ） (2022-09-08T14:12:15Z) - Guiding Generative Language Models for Data Augmentation in Few-Shot
Text Classification [59.698811329287174]
我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。
実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
論文 参考訳（メタデータ） (2021-11-17T12:10:03Z) - GroupBERT: Enhanced Transformer Architecture with Efficient Grouped
Structures [57.46093180685175]
トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。
自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。
得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
論文 参考訳（メタデータ） (2021-06-10T15:41:53Z) - On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。
我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。
我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文 参考訳（メタデータ） (2020-10-24T04:30:02Z) - Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks [75.69896269357005]
Mixupは、入力例と対応するラベルを線形に補間する最新のデータ拡張技術である。
本稿では,自然言語処理タスクにmixupを適用する方法について検討する。
我々は、様々なNLPタスクに対して、mixup-transformerと呼ばれる、トランスフォーマーベースの事前学習アーキテクチャにmixupを組み込んだ。
論文 参考訳（メタデータ） (2020-10-05T23:37:30Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳（メタデータ） (2020-09-08T21:55:22Z) - Incorporating Effective Global Information via Adaptive Gate Attention
for Text Classification [13.45504908358177]
複数のベースラインモデルと比較して,単純な統計情報により分類性能が向上することを示す。
本稿では,グローバル情報を用いた適応ゲート注意モデル (AGA+GI) と呼ばれるゲート機構を持つ分類器を提案する。
実験の結果,提案手法はCNNベースの手法やRNNベースの手法よりも精度が高いことがわかった。
論文 参考訳（メタデータ） (2020-02-22T10:06:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。