論文の概要: Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in
Financial Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2211.05584v1
- Date: Wed, 26 Oct 2022 01:13:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 23:38:59.548039
- Title: Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in
Financial Sentiment Analysis
- Title(参考訳): ノイズデータにおけるプレフィックスチューニングのロバスト性を探る:財務感性分析を事例として
- Authors: Sudhandar Balakrishnan, Yihao Fang and Xioadan Zhu
- Abstract要約: ノイズデータに直面する場合,ファインチューニングはプレフィックスチューニングよりもノイズに強いことを示す。
我々は,現在最先端のプレフィックスチューニング手法をノイズデータに適用する場合,注意が必要であることを強く主張する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The invention of transformer-based models such as BERT, GPT, and RoBERTa has
enabled researchers and financial companies to finetune these powerful models
and use them in different downstream tasks to achieve state-of-the-art
performance. Recently, a lightweight alternative (approximately 0.1% - 3% of
the original model parameters) to fine-tuning, known as prefix tuning has been
introduced. This method freezes the model parameters and only updates the
prefix to achieve performance comparable to full fine-tuning. Prefix tuning
enables researchers and financial practitioners to achieve similar results with
much fewer parameters. In this paper, we explore the robustness of prefix
tuning when facing noisy data. Our experiments demonstrate that fine-tuning is
more robust to noise than prefix tuning -- the latter method faces a
significant decrease in performance on most corrupted data sets with increasing
noise levels. Furthermore, prefix tuning has high variances in the F1 scores
compared to fine-tuning in many corruption methods. We strongly advocate that
caution should be carefully taken when applying the state-of-the-art prefix
tuning method to noisy data.
- Abstract(参考訳): BERT、GPT、RoBERTaといったトランスフォーマーベースのモデルの発明により、研究者や金融機関はこれらの強力なモデルを微調整し、異なる下流タスクでそれらを使用して最先端のパフォーマンスを達成することができるようになった。
近年、プレフィックスチューニングとして知られる微調整のための軽量な代替(元のモデルパラメータの約0.1% - 3%)が導入された。
このメソッドはモデルパラメータを凍結し、プレフィックスを更新して完全な微調整に匹敵するパフォーマンスを達成する。
プリフィックスチューニングにより、研究者や金融専門家はパラメータをはるかに少なくして同様の結果を得ることができる。
本稿では,雑音データに対するプレフィックスチューニングの堅牢性について検討する。
実験により,音レベルが増大するほとんどの劣化したデータセットにおいて,ファインチューニングはプレフィックスチューニングよりもノイズに対して堅牢であることを示す。
さらに、プレフィックスチューニングは、多くの汚職手法の微調整と比較して、F1スコアに高いばらつきがある。
我々は,最先端のプレフィックスチューニング手法を雑音データに適用する場合,注意が必要であることを強く主張する。
関連論文リスト
- Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Negative Pre-aware for Noisy Cross-modal Matching [46.5591267410225]
雑音対応は認識と修正が難しいため,クロスモーダルノイズロバスト学習は難しい課題である。
本稿では,雑音の多い下流タスクに対する大規模視覚言語モデルファインタニングのための,否定的事前認識型クロスモーダルマッチングソリューションを提案する。
論文 参考訳(メタデータ) (2023-12-10T05:52:36Z) - Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。
我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
論文 参考訳(メタデータ) (2023-10-24T20:28:59Z) - PTP: Boosting Stability and Performance of Prompt Tuning with
Perturbation-Based Regularizer [94.23904400441957]
損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。
我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。
我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
論文 参考訳(メタデータ) (2023-05-03T20:30:51Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳(メタデータ) (2023-02-19T15:24:37Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T00:33:11Z) - On Noisy Evaluation in Federated Hyperparameter Tuning [27.97637333107678]
少量のノイズがチューニング方法に大きな影響を及ぼす可能性がある。
本稿では,公開プロキシデータを利用して評価信号を強化する,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2022-12-17T18:51:00Z) - Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
NLT(Noisy Long-Tailed Classification)を紹介する。
ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。
我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
論文 参考訳(メタデータ) (2022-07-27T09:03:03Z) - Partial Identification with Noisy Covariates: A Robust Optimization
Approach [94.10051154390237]
観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。
このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。
合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
論文 参考訳(メタデータ) (2022-02-22T04:24:26Z) - Denoising Distantly Supervised Named Entity Recognition via a
Hypergeometric Probabilistic Model [26.76830553508229]
ハイパージオメトリ・ラーニング(HGL)は、遠距離教師付きエンティティ認識のための認知アルゴリズムである。
HGLはノイズ分布とインスタンスレベルの信頼性の両方を考慮に入れている。
実験により、HGLは遠方の監督から取得した弱いラベル付きデータを効果的に復調できることが示された。
論文 参考訳(メタデータ) (2021-06-17T04:01:25Z) - Square Root Principal Component Pursuit: Tuning-Free Noisy Robust Matrix
Recovery [8.581512812219737]
本稿では,ノイズや外周波で劣化した観測結果から低ランク行列を復元する新しい枠組みを提案する。
平方根のラッソにインスパイアされたこの新しい定式化は、ノイズレベルに関する事前の知識を必要としない。
正規化パラメータの1つの普遍的な選択は、(事前未知の)雑音レベルに比例した再構成誤差を達成するのに十分であることを示す。
論文 参考訳(メタデータ) (2021-06-17T02:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。