論文の概要: Towards Robust Few-Shot Text Classification Using Transformer Architectures and Dual Loss Strategies
- arxiv url: http://arxiv.org/abs/2505.06145v1
- Date: Fri, 09 May 2025 15:54:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-12 20:40:10.322834
- Title: Towards Robust Few-Shot Text Classification Using Transformer Architectures and Dual Loss Strategies
- Title（参考訳）: トランスフォーマーアーキテクチャとデュアルロス戦略を用いたロバスト・ファウショットテキスト分類に向けて
- Authors: Xu Han, Yumeng Sun, Weiqiang Huang, Hongye Zheng, Junliang Du,
- Abstract要約: 本稿では,適応的な微調整,コントラスト学習,正規化最適化を組み合わせ,トランスフォーマーに基づくモデルの分類性能を向上させる戦略を提案する。
FewRel 2.0データセットの実験によると、T5-small、DeBERTa-v3、RoBERTa-baseは、数ショットタスクでうまく機能している。
- 参考スコア（独自算出の注目度）: 6.78820305740543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot text classification has important application value in low-resource environments. This paper proposes a strategy that combines adaptive fine-tuning, contrastive learning, and regularization optimization to improve the classification performance of Transformer-based models. Experiments on the FewRel 2.0 dataset show that T5-small, DeBERTa-v3, and RoBERTa-base perform well in few-shot tasks, especially in the 5-shot setting, which can more effectively capture text features and improve classification accuracy. The experiment also found that there are significant differences in the classification difficulty of different relationship categories. Some categories have fuzzy semantic boundaries or complex feature distributions, making it difficult for the standard cross entropy loss to learn the discriminative information required to distinguish categories. By introducing contrastive loss and regularization loss, the generalization ability of the model is enhanced, effectively alleviating the overfitting problem in few-shot environments. In addition, the research results show that the use of Transformer models or generative architectures with stronger self-attention mechanisms can help improve the stability and accuracy of few-shot classification.
- Abstract（参考訳）: 低リソース環境における重要なアプリケーション価値を持つテキスト分類は少ない。
本稿では,適応的な微調整,コントラスト学習,正規化最適化を組み合わせ,トランスフォーマーに基づくモデルの分類性能を向上させる戦略を提案する。
FewRel 2.0データセットの実験によると、T5-small、DeBERTa-v3、RoBERTa-baseは、特に5ショット設定で、特に、テキストの特徴をより効果的にキャプチャし、分類精度を向上させることができる。
また,異なる関係カテゴリーの分類困難度には有意な差が認められた。
いくつかのカテゴリはファジィセマンティック境界や複雑な特徴分布を持ち、標準的なクロスエントロピー損失がカテゴリを区別するのに必要な識別情報を学ぶのを困難にしている。
対照的な損失と正規化損失を導入することにより、モデルの一般化能力が向上し、少数ショット環境でのオーバーフィッティング問題を効果的に軽減する。
さらに,トランスフォーマーモデルや,より強力な自己認識機構を備えた生成アーキテクチャを用いることで,数発の分類の安定性と精度の向上が期待できる。
関連論文リスト
- Intelligently Augmented Contrastive Tensor Factorization: Empowering Multi-dimensional Time Series Classification in Low-Data Environments [4.77513566805416]
我々は、多機能でデータ効率のよいフレームワークITA-CTF(Intelligently Augmented Contrastive Factorization)を提案する。
ITA-CTFモジュールは多次元時系列から効率的な表現を学習する。
類似性学習とクラス認識に対する新しい対照的な損失最適化が組み込まれている。
標準およびいくつかのDLベンチマークと比較して、注目すべきパフォーマンス改善は18.7%に達した。
論文 参考訳（メタデータ） (2025-05-03T11:28:13Z) - Multi-Level Attention and Contrastive Learning for Enhanced Text Classification with an Optimized Transformer [0.0]
本稿では,テキスト分類タスクにおけるモデルの性能と効率を改善するために,改良されたトランスフォーマーに基づくテキスト分類アルゴリズムについて検討する。
改良されたTransformerモデルは、BiLSTM、CNN、標準Transformer、BERTといった比較モデルよりも、分類精度、F1スコア、リコールレートで優れている。
論文 参考訳（メタデータ） (2025-01-23T08:32:27Z) - Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。
本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。
本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
論文 参考訳（メタデータ） (2023-09-01T11:15:50Z) - Balanced Classification: A Unified Framework for Long-Tailed Object
Detection [74.94216414011326]
従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。
本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。
BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2023-08-04T09:11:07Z) - TART: Improved Few-shot Text Classification Using Task-Adaptive
Reference Transformation [23.02986307143718]
本稿では,タスク適応参照変換(TART)ネットワークを提案する。
我々のモデルは、20のNewsgroupsデータセット上の1ショットと5ショットの分類において、最先端の手法を7.4%、そして5.4%上回る。
論文 参考訳（メタデータ） (2023-06-03T18:38:02Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-22T19:44:57Z) - Bi-directional Feature Reconstruction Network for Fine-Grained Few-Shot
Image Classification [61.411869453639845]
クラス間およびクラス内変動を同時に対応できるバイコンストラクション機構を導入する。
この設計は、モデルがより微妙で差別的な特徴を探索するのに役立つ。
広範に使用されている3つのきめ細かな画像分類データセットに対する実験結果は、一貫して大幅に改善されている。
論文 参考訳（メタデータ） (2022-11-30T16:55:14Z) - Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation
for Few-Shot Learning [23.465747123791772]
少数の分類において、第一の目的は、新しいクラスをうまく一般化する表現を学ぶことである。
オルソショット(Ortho-Shot)と呼ばれる効率的な低変位ランク(LDR)正規化戦略を提案する。
論文 参考訳（メタデータ） (2021-10-18T14:58:36Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳（メタデータ） (2020-09-08T21:55:22Z) - Few-shot Classification via Adaptive Attention [93.06105498633492]
ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。
実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
論文 参考訳（メタデータ） (2020-08-06T05:52:59Z) - Understanding and Diagnosing Vulnerability under Adversarial Attacks [62.661498155101654]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,潜在変数の分類に使用される特徴を説明するために,新しい解釈可能性手法であるInterpretGANを提案する。
また、各層がもたらす脆弱性を定量化する最初の診断方法も設計する。
論文 参考訳（メタデータ） (2020-07-17T01:56:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。