論文の概要: Reducing and Exploiting Data Augmentation Noise through Meta Reweighting
Contrastive Learning for Text Classification
- arxiv url: http://arxiv.org/abs/2409.17474v1
- Date: Thu, 26 Sep 2024 02:19:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-28 23:28:14.027488
- Title: Reducing and Exploiting Data Augmentation Noise through Meta Reweighting
Contrastive Learning for Text Classification
- Title（参考訳）: メタリヘアリングによるデータ拡張ノイズの低減と爆発
テキスト分類のためのコントラスト学習
- Authors: Guanyi Mou, Yichuan Li, Kyumin Lee
- Abstract要約: 本稿では,テキスト分類タスクにおける拡張データ/サンプルを用いたディープラーニングモデルの性能向上のための新しいフレームワークを提案する。
本稿では,拡張サンプルの重み/品質情報を効果的に活用するための,新しい重み依存型列列とデキューアルゴリズムを提案する。
本フレームワークでは,テキストCNNエンコーダの平均1.6%,テキストCNNエンコーダの平均4.3%,RoBERTaベースエンコーダの平均1.4%,絶対改善の4.4%を実現している。
- 参考スコア（独自算出の注目度）: 3.9889306957591755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data augmentation has shown its effectiveness in resolving the data-hungry
problem and improving model's generalization ability. However, the quality of
augmented data can be varied, especially compared with the raw/original data.
To boost deep learning models' performance given augmented data/samples in text
classification tasks, we propose a novel framework, which leverages both meta
learning and contrastive learning techniques as parts of our design for
reweighting the augmented samples and refining their feature representations
based on their quality. As part of the framework, we propose novel
weight-dependent enqueue and dequeue algorithms to utilize augmented samples'
weight/quality information effectively. Through experiments, we show that our
framework can reasonably cooperate with existing deep learning models (e.g.,
RoBERTa-base and Text-CNN) and augmentation techniques (e.g., Wordnet and
Easydata) for specific supervised learning tasks. Experiment results show that
our framework achieves an average of 1.6%, up to 4.3% absolute improvement on
Text-CNN encoders and an average of 1.4%, up to 4.4% absolute improvement on
RoBERTa-base encoders on seven GLUE benchmark datasets compared with the best
baseline. We present an indepth analysis of our framework design, revealing the
non-trivial contributions of our network components. Our code is publicly
available for better reproducibility.
- Abstract（参考訳）: データ拡張は、データハングリー問題の解決とモデルの一般化能力の向上に効果を示した。
しかし、特に原データや原データと比較すると、拡張データの質は変化する。
テキスト分類タスクにおける強化データ/サンプルの深層学習モデルの性能向上を目的として,メタラーニングとコントラスト学習の両手法を併用した新しいフレームワークを提案する。
本フレームワークでは,拡張サンプルの重み/品質情報を効果的に活用するために,新しい重み依存型列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列
実験により,本フレームワークは既存のディープラーニングモデル(RoBERTa-baseやText-CNNなど)や拡張技術(WordnetやEasydataなど)と合理的に連携できることを示す。
その結果,我々のフレームワークは平均1.6%,テキストCNNエンコーダは最大4.3%,RoBERTaベースエンコーダは最大4.4%,GLUEベンチマークデータセットは最良ベースラインと比較して4.4%向上していることがわかった。
ネットワークコンポーネントの非自明なコントリビューションを明らかにするとともに,フレームワーク設計の詳細な分析を行う。
私たちのコードは再現性の向上のために公開されています。
関連論文リスト
- Extract More from Less: Efficient Fine-Grained Visual Recognition in Low-Data Regimes [0.22499166814992438]
本稿では,この課題に対するディープニューラルネットワークの性能向上を目的とした,AD-Netと呼ばれる新しいフレームワークを提案する。
特に, 本手法は, 強化試料を自己蒸留し, 有害なオーバーフィッティングを緩和することにより, 学習機能を洗練することを目的としている。
最小限のデータで、我々のフレームワークは、最大で45%の精度で顕著な相対的正確性を示した。
論文 参考訳（メタデータ） (2024-06-28T10:45:25Z) - Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback [110.16220825629749]
嗜好フィードバックからの学習は、現代言語モデルの生成品質と性能を改善するための重要なステップとして現れてきた。
本研究では、嗜好データ、学習アルゴリズム、報酬モデル、政策訓練プロンプトという、嗜好に基づく学習の4つの側面を特定する。
以上の結果から,すべての側面がパフォーマンス上重要であることが示唆された。
論文 参考訳（メタデータ） (2024-06-13T16:17:21Z) - An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。
本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。
提案されたフレームワークは使いやすく、柔軟です。
論文 参考訳（メタデータ） (2024-02-26T07:22:51Z) - Feedback-guided Data Synthesis for Imbalanced Classification [10.836265321046561]
有用な合成サンプルを用いて静的データセットを拡張するためのフレームワークを提案する。
サンプルはタスクの実際のデータのサポートに近づき、十分に多様であることに気付きました。
ImageNet-LTでは、表現不足のクラスでは4%以上改善され、最先端の結果が得られます。
論文 参考訳（メタデータ） (2023-09-29T21:47:57Z) - Gradient-Boosted Based Structured and Unstructured Learning [18.76745359031975]
構造化データと非構造化データの両方が利用できる問題設定を扱うための2つのフレームワークを提案する。
提案するフレームワークは,モデルとディープニューラルネットワークのパラダイムを統合することで,両データに対する共同学習を可能にする。
論文 参考訳（メタデータ） (2023-02-28T04:16:42Z) - Learning Customized Visual Models with Retrieval-Augmented Knowledge [104.05456849611895]
我々は、ターゲットドメイン用にカスタマイズされたビジュアルモデルを構築するための、関連するWeb知識を取得するためのフレームワークであるREACTを提案する。
我々は、Webスケールデータベースから最も関連性の高い画像テキストペアを外部知識として検索し、元の重みをすべて凍結しながら、新しいモジュール化されたブロックをトレーニングするだけで、モデルをカスタマイズすることを提案する。
REACTの有効性は、ゼロ、少数、フルショット設定を含む分類、検索、検出、セグメンテーションタスクに関する広範な実験を通じて実証される。
論文 参考訳（メタデータ） (2023-01-17T18:59:06Z) - Data-Efficient Augmentation for Training Neural Networks [15.870155099135538]
本稿では,データポイントのサブセットを選択するための厳密な手法を提案する。
SVHNのCIFAR10では6.3倍,SVHNでは2.2倍の高速化を実現し,様々なサブセットサイズでベースラインを最大10%向上させる。
論文 参考訳（メタデータ） (2022-10-15T19:32:20Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - Heuristic Semi-Supervised Learning for Graph Generation Inspired by
Electoral College [80.67842220664231]
本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。
テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
論文 参考訳（メタデータ） (2020-06-10T14:48:48Z) - Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。
我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
論文 参考訳（メタデータ） (2020-05-04T03:21:05Z) - COLAM: Co-Learning of Deep Neural Networks and Soft Labels via
Alternating Minimization [60.07531696857743]
2つの目的の交互最小化によるDNNとソフトラベルの共学習
本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-26T17:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。