論文の概要: Advancing Text Classification with Large Language Models and Neural Attention Mechanisms

• arxiv url: http://arxiv.org/abs/2512.09444v1
• Date: Wed, 10 Dec 2025 09:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.459883
• Title: Advancing Text Classification with Large Language Models and Neural Attention Mechanisms
• Title（参考訳）: 大規模言語モデルとニューラルアテンションメカニズムを用いたテキスト分類の改良
• Authors: Ning Lyu, Yuxi Wang, Feng Chen, Qingyuan Zhang,
• Abstract要約: このフレームワークには、テキストエンコーディング、コンテキスト表現モデリング、注意に基づく拡張、分類予測が含まれる。 その結果,提案手法はすべての指標において既存モデルよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 11.31737492247233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study proposes a text classification algorithm based on large language models, aiming to address the limitations of traditional methods in capturing long-range dependencies, understanding contextual semantics, and handling class imbalance. The framework includes text encoding, contextual representation modeling, attention-based enhancement, feature aggregation, and classification prediction. In the representation stage, deep semantic embeddings are obtained through large-scale pretrained language models, and attention mechanisms are applied to enhance the selective representation of key features. In the aggregation stage, global and weighted strategies are combined to generate robust text-level vectors. In the classification stage, a fully connected layer and Softmax output are used to predict class distributions, and cross-entropy loss is employed to optimize model parameters. Comparative experiments introduce multiple baseline models, including recurrent neural networks, graph neural networks, and Transformers, and evaluate them on Precision, Recall, F1-Score, and AUC. Results show that the proposed method outperforms existing models on all metrics, with especially strong improvements in Recall and AUC. In addition, sensitivity experiments are conducted on hyperparameters and data conditions, covering the impact of hidden dimensions on AUC and the impact of class imbalance ratios on Recall. The findings demonstrate that proper model configuration has a significant effect on performance and reveal the adaptability and stability of the model under different conditions. Overall, the proposed text classification method not only achieves effective performance improvement but also verifies its robustness and applicability in complex data environments through systematic analysis.
• Abstract（参考訳）: 本研究では,大規模言語モデルに基づくテキスト分類アルゴリズムを提案し,長距離依存関係の取得,文脈意味論の理解,クラス不均衡の処理における従来の手法の限界に対処することを目的とした。 このフレームワークには、テキストエンコーディング、コンテキスト表現モデリング、注意に基づく拡張、特徴集約、分類予測が含まれる。 表現段階では、大規模事前学習言語モデルを用いて深いセマンティックな埋め込みが得られ、キー特徴の選択的表現を強化するために注意機構が適用される。 集約段階では、大域的戦略と重み付け戦略を組み合わせて、堅牢なテキストレベルのベクトルを生成する。 分類段階では、クラス分布の予測には完全連結層とSoftmax出力を使用し、モデルパラメータの最適化にはクロスエントロピー損失を用いる。 比較実験では、リカレントニューラルネットワーク、グラフニューラルネットワーク、トランスフォーマーなど、複数のベースラインモデルを導入し、Precision、Recall、F1-Score、AUCで評価する。 その結果,提案手法は,Recall と AUC の精度が向上し,すべての指標において既存モデルよりも優れていることがわかった。 さらに、過度パラメータとデータ条件に対する感度実験を行い、AUCに対する隠れ次元の影響と、リコールに対するクラス不均衡比の影響をカバーした。 その結果, 適切なモデル構成が性能に有意な影響を与え, 異なる条件下でのモデルの適応性と安定性を明らかにした。 全体として,提案手法は有効な性能向上を実現するだけでなく,複雑なデータ環境における堅牢性や適用性も,体系的な解析によって検証する。

関連論文リスト

• Did Models Sufficient Learn? Attribution-Guided Training via Subset-Selected Counterfactual Augmentation [61.248535801314375]
  Subset-Selected Counterfactual Augmentation (SS-CA) 我々は,モデル予測を選択的に変更可能な最小空間領域集合を識別するために,対実的LIMAを開発した。 実験により,SS-CAは分布内テストデータ(ID)の一般化を改善し,分布外ベンチマーク(OOD)において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-11-15T08:39:22Z)
• Explicit modelling of subject dependency in BCI decoding [12.17288254938554]
  Brain-Computer Interfaces (BCI) は、高いオブジェクト間の変動とラベル付きデータに悩まされる。 被験者の身元を条件とした軽量畳み込みニューラルネットワーク(CNN)を用いて、対象の依存関係を明示的にモデル化するエンド・ツー・エンドのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:51:42Z)
• Improving Data and Parameter Efficiency of Neural Language Models Using Representation Analysis [0.0]
  この論文は、ニューラルネットワークモデルにおけるデータとパラメータ効率に関する課題に対処する。 第1部では、ニューラルネットワーク内の言語表現の特性と力学を考察し、堅牢性と一般化の強化におけるそれらの重要性を強調している。 第2部では、アクティブ学習戦略とパラメータ効率の微調整を統合することにより、データとパラメータ効率を大幅に向上させる手法に焦点を当てている。 第3部では、文脈内学習によって強化された弱い監視手法を探求し、ラベルなしデータを効果的に活用する。
  論文  参考訳（メタデータ） (2025-07-16T07:58:20Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Multi-Level Attention and Contrastive Learning for Enhanced Text Classification with an Optimized Transformer [0.0]
  本稿では,テキスト分類タスクにおけるモデルの性能と効率を改善するために,改良されたトランスフォーマーに基づくテキスト分類アルゴリズムについて検討する。 改良されたTransformerモデルは、BiLSTM、CNN、標準Transformer、BERTといった比較モデルよりも、分類精度、F1スコア、リコールレートで優れている。
  論文  参考訳（メタデータ） (2025-01-23T08:32:27Z)
• Synthetic Feature Augmentation Improves Generalization Performance of Language Models [8.463273762997398]
  限定的かつ不均衡なデータセット上でのトレーニングと微調整のディープラーニングモデルは、重大な課題を生じさせる。 本研究では, 様々な手法を用いて合成試料を合成することにより, 埋め込み空間における特徴量を増やすことを提案する。 複数のオープンソーステキスト分類ベンチマークにまたがって,このアプローチの有効性を検証する。
  論文  参考訳（メタデータ） (2025-01-11T04:31:18Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Boosting the Generalization Capability in Cross-Domain Few-shot Learning via Noise-enhanced Supervised Autoencoder [23.860842627883187]
  我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。 NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。 また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
  論文  参考訳（メタデータ） (2021-08-11T04:45:56Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。