Fugu-MT 論文翻訳(概要): Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification

論文の概要: Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification

arxiv url: http://arxiv.org/abs/2405.11524v1
Date: Sun, 19 May 2024 11:33:49 GMT
ステータス: 処理完了
システム内更新日: 2024-05-21 15:22:21.051308
Title: Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification
Title（参考訳）: テキスト分類におけるコントラスト学習の再バランスのためのプロトタイプを用いた簡易サンプリングとハードミクスアップ
Authors: Mengyu Li, Yonghao Liu, Fausto Giunchiglia, Xiaoyue Feng, Renchu Guan,
Abstract要約: 我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
参考スコア（独自算出の注目度）: 11.072083437769093
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text classification is a crucial and fundamental task in natural language processing. Compared with the previous learning paradigm of pre-training and fine-tuning by cross entropy loss, the recently proposed supervised contrastive learning approach has received tremendous attention due to its powerful feature learning capability and robustness. Although several studies have incorporated this technique for text classification, some limitations remain. First, many text datasets are imbalanced, and the learning mechanism of supervised contrastive learning is sensitive to data imbalance, which may harm the model performance. Moreover, these models leverage separate classification branch with cross entropy and supervised contrastive learning branch without explicit mutual guidance. To this end, we propose a novel model named SharpReCL for imbalanced text classification tasks. First, we obtain the prototype vector of each class in the balanced classification branch to act as a representation of each class. Then, by further explicitly leveraging the prototype vectors, we construct a proper and sufficient target sample set with the same size for each class to perform the supervised contrastive learning procedure. The empirical results show the effectiveness of our model, which even outperforms popular large language models across several datasets.
Abstract（参考訳）: テキスト分類は自然言語処理において重要かつ基本的な課題である。クロスエントロピー損失による事前学習と微調整という従来の学習パラダイムと比較すると,最近提案された教師付きコントラスト学習アプローチは,その強力な特徴学習能力と堅牢性から大きな注目を集めている。いくつかの研究がこの技法をテキスト分類に取り入れているが、いくつかの制限が残っている。まず、多くのテキストデータセットは不均衡であり、教師付きコントラスト学習の学習メカニズムはデータ不均衡に敏感であり、モデルの性能を損なう可能性がある。さらに,これらのモデルでは,相互指導を伴わずに,クロスエントロピーと教師付きコントラスト学習の分枝を別々に活用する。そこで本研究では,不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。まず、バランスの取れた分類分岐における各クラスのプロトタイプベクトルを取得し、各クラスの表現として機能する。そして, プロトタイプベクトルをさらに明示的に活用することにより, 教師付きコントラスト学習手順を実行するために, クラス毎に同じ大きさの適切な, 十分なターゲットセットを構築する。実験結果から,複数のデータセットにまたがるポピュラーな大規模言語モデルよりも優れるモデルの有効性が示された。

関連論文リスト

Investigating Self-Supervised Methods for Label-Efficient Learning [27.029542823306866]
低撮影能力のためのコントラスト学習、クラスタリング、マスク付き画像モデリングなど、さまざまな自己教師付きプレテキストタスクについて検討する。マスク画像モデリングとクラスタリングの両方をプリテキストタスクとして含むフレームワークを導入する。実規模データセット上でモデルをテストした場合,マルチクラス分類,マルチラベル分類,セマンティックセマンティックセグメンテーションにおける性能向上を示す。
論文参考訳（メタデータ） (2024-06-25T10:56:03Z)
Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文参考訳（メタデータ） (2021-11-18T06:58:19Z)
Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文参考訳（メタデータ） (2021-10-31T16:15:09Z)
Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid Models [4.189643331553922]
半教師付き小ショット分類のための潜在空間レベルで識別学習と生成学習を統合するディープ・インバーチブルハイブリッドモデルを提案する。我々の主な独創性は、これらのコンポーネントを潜在空間レベルで統合することであり、過度な適合を防ぐのに有効である。
論文参考訳（メタデータ） (2021-05-22T05:55:16Z)
SetConv: A New Approach for Learning from Imbalanced Data [29.366843553056594]
集合畳み込み操作とエピソード学習戦略を提案し,各クラスに1つの代表を抽出する。提案アルゴリズムは入力順序に関わらず置換不変であることを示す。
論文参考訳（メタデータ） (2021-04-03T22:33:30Z)
Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文参考訳（メタデータ） (2021-03-22T08:11:43Z)
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文参考訳（メタデータ） (2021-01-20T13:59:25Z)
Adaptive Prototypical Networks with Label Words and Joint Representation Learning for Few-Shot Relation Classification [17.237331828747006]
本研究は,少ショット関係分類(FSRC)に焦点を当てる。クラスプロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。 FewRelでは、異なる数ショット(FS)設定で実験が行われた。
論文参考訳（メタデータ） (2021-01-10T11:25:42Z)
Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax [88.11979569564427]
本報告では, 長期分布前における最先端モデルの過小評価に関する最初の体系的解析を行う。本稿では,グループワイドトレーニングを通じて検出フレームワーク内の分類器のバランスをとるための,新しいバランス付きグループソフトマックス(BAGS)モジュールを提案する。非常に最近の長尾大語彙オブジェクト認識ベンチマークLVISの大規模な実験により,提案したBAGSは検出器の性能を著しく向上することが示された。
論文参考訳（メタデータ） (2020-06-18T10:24:26Z)
Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。