論文の概要: Prompt Perturbation Consistency Learning for Robust Language Models
- arxiv url: http://arxiv.org/abs/2402.15833v1
- Date: Sat, 24 Feb 2024 15:00:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 16:41:11.562458
- Title: Prompt Perturbation Consistency Learning for Robust Language Models
- Title(参考訳): ロバスト言語モデルのプロンプト摂動一貫性学習
- Authors: Yao Qiang, Subhrangshu Nandi, Ninareh Mehrabi, Greg Ver Steeg, Anoop
Kumar, Anna Rumshisky, Aram Galstyan
- Abstract要約: 大規模言語モデル(LLM)は、多くの自然言語処理タスクにおいて印象的なパフォーマンスを示している。
微調整を十分に行うと,識別モデルに匹敵するIC-SF性能が得られることを示す。
クリーンサンプルと摂動サンプルの損失の分散を規則化して機能する,効率的な緩和手法であるPrompt Perturbation Consistency Learning(PPCL)を提案する。
- 参考スコア(独自算出の注目度): 47.021022978847036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated impressive performance on a
number of natural language processing tasks, such as question answering and
text summarization. However, their performance on sequence labeling tasks such
as intent classification and slot filling (IC-SF), which is a central component
in personal assistant systems, lags significantly behind discriminative models.
Furthermore, there is a lack of substantive research on the robustness of LLMs
to various perturbations in the input prompts. The contributions of this paper
are three-fold. First, we show that fine-tuning sufficiently large LLMs can
produce IC-SF performance comparable to discriminative models. Next, we
systematically analyze the performance deterioration of those fine-tuned models
due to three distinct yet relevant types of input perturbations - oronyms,
synonyms, and paraphrasing. Finally, we propose an efficient mitigation
approach, Prompt Perturbation Consistency Learning (PPCL), which works by
regularizing the divergence between losses from clean and perturbed samples.
Our experiments demonstrate that PPCL can recover on average 59% and 69% of the
performance drop for IC and SF tasks, respectively. Furthermore, PPCL beats the
data augmentation approach while using ten times fewer augmented data samples.
- Abstract(参考訳): 大規模言語モデル(llm)は、質問応答やテキスト要約など、多くの自然言語処理タスクで印象的なパフォーマンスを示している。
しかし、パーソナルアシスタントシステムの中心的なコンポーネントであるインテント分類やスロットフィリング(IC-SF)などのシーケンスラベリングタスクの性能は差別モデルに大きく遅れている。
さらに、入力プロンプトにおける様々な摂動に対するLDMの堅牢性に関する実質的な研究が欠如している。
この論文の貢献は3つある。
まず,識別モデルに匹敵するIC-SF性能が得られることを示す。
次に,これらの微調整モデルの性能劣化をオラニム,シノニム,パラフレージングという3つの異なる種類の入力摂動によって体系的に解析する。
最後に,クリーンサンプルと摂動サンプルの損失の分散を規則化して機能する,効率的な緩和手法であるPrompt Perturbation Consistency Learning(PPCL)を提案する。
実験の結果,PPCLはICタスクとSFタスクのパフォーマンス低下の59%と69%で回復可能であることがわかった。
さらに、PPCLは10倍少ない拡張データサンプルを使用しながら、データ拡張アプローチを破る。
関連論文リスト
- Learning the Unlearned: Mitigating Feature Suppression in Contrastive
Learning [47.95399695465355]
自己監督型コントラスト学習は、ラベルのないデータから高品質な表現を導き出すのに有効であることが証明されている。
単目的学習とマルチモーダル学習の両方を妨げる大きな課題は、特徴抑制である。
本稿では,新しいモデルに依存しないマルチステージコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-19T04:13:33Z) - Enhancing Large Language Model with Decomposed Reasoning for Emotion
Cause Pair Extraction [13.245873138716044]
Emotion-Cause Pair extract (ECPE) は、感情とその原因を表す節対を文書で抽出する。
近年の成果から着想を得て,大規模言語モデル(LLM)を活用してECPEタスクに追加のトレーニングを加えることなく対処する方法について検討した。
人間の認知過程を模倣するチェーン・オブ・シントを導入し,Decomposed Emotion-Cause Chain (DECC) フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-31T10:20:01Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via
Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。
しかし、その大きなサイズは推論を遅く、計算的に高価にする。
最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文 参考訳(メタデータ) (2023-10-28T04:07:58Z) - Revisit Input Perturbation Problems for LLMs: A Unified Robustness
Evaluation Framework for Noisy Slot Filling Task [18.623619585980688]
本研究では,大言語モデルの対話理解能力を評価するために,スロット充足タスクに基づく統一ロバストネス評価フレームワークを提案する。
具体的には,5種類の単一摂動と4種類の混合摂動データを含む入力摂動評価データセットであるノイズLLMを構築した。
本研究の目的は,LLMの様々なロバスト性評価手法が実世界の雑音のシナリオでどの程度機能するかを評価することである。
論文 参考訳(メタデータ) (2023-10-10T10:22:05Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳(メタデータ) (2023-05-22T17:02:15Z) - Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in
Large Language Models [85.07648361429816]
大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。
本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
論文 参考訳(メタデータ) (2023-04-23T13:54:39Z) - Triplet Loss-less Center Loss Sampling Strategies in Facial Expression
Recognition Scenarios [5.672538282456803]
ディープ・ニューラルネットワーク(DNN)とディープ・メトリック・ラーニング(DML)技術は、モデルInFERアプリケーションの識別能力を高める。
我々は, 完全合成, 半合成, 予測に基づく負のサンプル選択戦略の3つの戦略を開発した。
より優れた結果を得るために、画素ワイドと素子ワイドのアテンション係数の組み合わせを提供する選択的アテンションモジュールを導入する。
論文 参考訳(メタデータ) (2023-02-08T15:03:36Z) - FairIF: Boosting Fairness in Deep Learning via Influence Functions with
Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。
サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。
FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文 参考訳(メタデータ) (2022-01-15T05:14:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。