Fugu-MT 論文翻訳(概要): Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in Financial Sentiment Analysis

論文の概要: Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in Financial Sentiment Analysis

arxiv url: http://arxiv.org/abs/2211.05584v1
Date: Wed, 26 Oct 2022 01:13:41 GMT
ステータス: 処理完了
システム内更新日: 2022-11-13 23:38:59.548039
Title: Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in Financial Sentiment Analysis
Title（参考訳）: ノイズデータにおけるプレフィックスチューニングのロバスト性を探る:財務感性分析を事例として
Authors: Sudhandar Balakrishnan, Yihao Fang and Xioadan Zhu
Abstract要約: ノイズデータに直面する場合,ファインチューニングはプレフィックスチューニングよりもノイズに強いことを示す。我々は,現在最先端のプレフィックスチューニング手法をノイズデータに適用する場合,注意が必要であることを強く主張する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The invention of transformer-based models such as BERT, GPT, and RoBERTa has enabled researchers and financial companies to finetune these powerful models and use them in different downstream tasks to achieve state-of-the-art performance. Recently, a lightweight alternative (approximately 0.1% - 3% of the original model parameters) to fine-tuning, known as prefix tuning has been introduced. This method freezes the model parameters and only updates the prefix to achieve performance comparable to full fine-tuning. Prefix tuning enables researchers and financial practitioners to achieve similar results with much fewer parameters. In this paper, we explore the robustness of prefix tuning when facing noisy data. Our experiments demonstrate that fine-tuning is more robust to noise than prefix tuning -- the latter method faces a significant decrease in performance on most corrupted data sets with increasing noise levels. Furthermore, prefix tuning has high variances in the F1 scores compared to fine-tuning in many corruption methods. We strongly advocate that caution should be carefully taken when applying the state-of-the-art prefix tuning method to noisy data.
Abstract（参考訳）: BERT、GPT、RoBERTaといったトランスフォーマーベースのモデルの発明により、研究者や金融機関はこれらの強力なモデルを微調整し、異なる下流タスクでそれらを使用して最先端のパフォーマンスを達成することができるようになった。近年、プレフィックスチューニングとして知られる微調整のための軽量な代替(元のモデルパラメータの約0.1% - 3%)が導入された。このメソッドはモデルパラメータを凍結し、プレフィックスを更新して完全な微調整に匹敵するパフォーマンスを達成する。プリフィックスチューニングにより、研究者や金融専門家はパラメータをはるかに少なくして同様の結果を得ることができる。本稿では,雑音データに対するプレフィックスチューニングの堅牢性について検討する。実験により,音レベルが増大するほとんどの劣化したデータセットにおいて,ファインチューニングはプレフィックスチューニングよりもノイズに対して堅牢であることを示す。さらに、プレフィックスチューニングは、多くの汚職手法の微調整と比較して、F1スコアに高いばらつきがある。我々は,最先端のプレフィックスチューニング手法を雑音データに適用する場合,注意が必要であることを強く主張する。

関連論文リスト

Visual Fourier Prompt Tuning [63.66866445034855]
本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2024-11-02T18:18:35Z)
SoftPatch: Unsupervised Anomaly Detection with Noisy Data [67.38948127630644]
本稿では,画像センサ異常検出におけるラベルレベルのノイズを初めて考察する。本稿では,メモリベースの非教師付きAD手法であるSoftPatchを提案する。既存の手法と比較して、SoftPatchは通常のデータの強力なモデリング能力を維持し、コアセットにおける過信問題を軽減する。
論文参考訳（メタデータ） (2024-03-21T08:49:34Z)
Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2024-03-11T16:22:41Z)
Negative Pre-aware for Noisy Cross-modal Matching [46.5591267410225]
雑音対応は認識と修正が難しいため,クロスモーダルノイズロバスト学習は難しい課題である。本稿では,雑音の多い下流タスクに対する大規模視覚言語モデルファインタニングのための,否定的事前認識型クロスモーダルマッチングソリューションを提案する。
論文参考訳（メタデータ） (2023-12-10T05:52:36Z)
Label Noise: Correcting the Forward-Correction [0.0]
ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。ラベルノイズによる過度適合に対処する手法を提案する。本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
論文参考訳（メタデータ） (2023-07-24T19:41:19Z)
PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
論文参考訳（メタデータ） (2023-05-03T20:30:51Z)
Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文参考訳（メタデータ） (2023-02-19T15:24:37Z)
Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文参考訳（メタデータ） (2022-12-20T00:33:11Z)
On Noisy Evaluation in Federated Hyperparameter Tuning [27.97637333107678]
少量のノイズがチューニング方法に大きな影響を及ぼす可能性がある。本稿では,公開プロキシデータを利用して評価信号を強化する,シンプルで効果的な手法を提案する。
論文参考訳（メタデータ） (2022-12-17T18:51:00Z)
Denoising Distantly Supervised Named Entity Recognition via a Hypergeometric Probabilistic Model [26.76830553508229]
ハイパージオメトリ・ラーニング(HGL)は、遠距離教師付きエンティティ認識のための認知アルゴリズムである。 HGLはノイズ分布とインスタンスレベルの信頼性の両方を考慮に入れている。実験により、HGLは遠方の監督から取得した弱いラベル付きデータを効果的に復調できることが示された。
論文参考訳（メタデータ） (2021-06-17T04:01:25Z)
Square Root Principal Component Pursuit: Tuning-Free Noisy Robust Matrix Recovery [8.581512812219737]
本稿では,ノイズや外周波で劣化した観測結果から低ランク行列を復元する新しい枠組みを提案する。平方根のラッソにインスパイアされたこの新しい定式化は、ノイズレベルに関する事前の知識を必要としない。正規化パラメータの1つの普遍的な選択は、(事前未知の)雑音レベルに比例した再構成誤差を達成するのに十分であることを示す。
論文参考訳（メタデータ） (2021-06-17T02:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。