論文の概要: SPARSEFIT: Few-shot Prompting with Sparse Fine-tuning for Jointly
Generating Predictions and Natural Language Explanations
- arxiv url: http://arxiv.org/abs/2305.13235v2
- Date: Tue, 23 May 2023 09:26:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 10:52:29.634335
- Title: SPARSEFIT: Few-shot Prompting with Sparse Fine-tuning for Jointly
Generating Predictions and Natural Language Explanations
- Title(参考訳): SPARSEFIT:Sparse Fine-tuningを用いたFew-shot Promptingによる予測と自然言語説明の同時生成
- Authors: Jesus Solano, Oana-Maria Camburu, Pasquale Minervini
- Abstract要約: 我々は、離散的なプロンプトを利用して予測とNLEを共同生成するスパース数発の微調整戦略であるSparseFitを提案する。
我々は,モデル生成NLEの品質を評価するために,自動的および人為的評価を行い,モデルパラメータの6.8%のみを微調整することで,競争結果が得られた。
- 参考スコア(独自算出の注目度): 22.280037513501338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explaining the decisions of neural models is crucial for ensuring their
trustworthiness at deployment time. Using Natural Language Explanations (NLEs)
to justify a model's predictions has recently gained increasing interest.
However, this approach usually demands large datasets of human-written NLEs for
the ground-truth answers, which are expensive and potentially infeasible for
some applications. For models to generate high-quality NLEs when only a few
NLEs are available, the fine-tuning of Pre-trained Language Models (PLMs) in
conjunction with prompt-based learning recently emerged. However, PLMs
typically have billions of parameters, making fine-tuning expensive. We propose
SparseFit, a sparse few-shot fine-tuning strategy that leverages discrete
prompts to jointly generate predictions and NLEs. We experiment with SparseFit
on the T5 model and four datasets and compare it against state-of-the-art
parameter-efficient fine-tuning techniques. We perform automatic and human
evaluations to assess the quality of the model-generated NLEs, finding that
fine-tuning only 6.8% of the model parameters leads to competitive results for
both the task performance and the quality of the NLEs.
- Abstract(参考訳): 神経モデルの決定を説明することは、デプロイ時に信頼性を確保するために不可欠である。
モデルの予測を正当化するために自然言語説明(NLE)を使用すると、最近関心が高まっている。
しかし、このアプローチは通常、人間によって書かれたNLEの大規模なデータセットを地道な答えとして要求する。
数個のNLEしか利用できない場合、モデルが高品質なNLEを生成するために、プロンプトベースの学習とともにPLM(Pre-trained Language Models)の微調整が最近現れた。
しかし、PLMは通常数十億のパラメータを持ち、微調整は高価である。
離散的なプロンプトを利用して予測とNLEを共同生成するスパース数発の微調整戦略であるSparseFitを提案する。
t5モデルと4つのデータセットでsparsefitを実験し、それを最先端のパラメータ効率の良い微調整技術と比較する。
我々は,モデル生成NLEの品質を評価するための自動評価と人為評価を行い,モデルパラメータの6.8%のみを微調整することで,タスク性能とNLEの品質の両面での競争結果が得られることを示した。
関連論文リスト
- A synthetic data approach for domain generalization of NLI models [15.119615305244178]
我々はNLIモデルの領域一般化問題について詳細に検討する。
多様な領域と長さで合成NLIデータを生成するための新しい手法を実証する。
我々は、このデータに基づいてトレーニングされたモデルが、完全に下流のテスト設定に最適な一般化があることを示します。
論文 参考訳(メタデータ) (2024-02-19T18:55:16Z) - Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised
Language Understanding [38.11411155621616]
我々は,主に半教師あり学習の手法として,自己学習について研究している。
我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。
UPETは性能と効率の面で大幅に向上したことを示す。
論文 参考訳(メタデータ) (2023-10-19T02:18:29Z) - Situated Natural Language Explanations [56.11758101279844]
本研究では,NLEの生成と評価を行うフレームワークを提案する。
生成側では、NLEを状況に適応させる単純なプロンプトエンジニアリング手法を提案する。
評価面では,語彙,意味,実践的カテゴリーにおける自動評価スコアを設定した。
論文 参考訳(メタデータ) (2023-08-27T14:14:28Z) - Large Language Models as Annotators: Enhancing Generalization of NLP
Models at Minimal Cost [6.662800021628275]
入力のアノテートやNLPモデルの一般化のための大言語モデル(LLM)について検討する。
ベースモデルと微調整NLPモデルとの予測スコアの差に基づくサンプリング戦略を提案する。
論文 参考訳(メタデータ) (2023-06-27T19:29:55Z) - KNOW How to Make Up Your Mind! Adversarially Detecting and Alleviating
Inconsistencies in Natural Language Explanations [52.33256203018764]
不整合性NLEを検出するために既存の敵攻撃を大幅に改善するために,外部知識ベースを活用する。
高いNLE品質のモデルが必ずしも矛盾を生じさせるとは限らないことを示す。
論文 参考訳(メタデータ) (2023-06-05T15:51:58Z) - Model-tuning Via Prompts Makes NLP Models Adversarially Robust [97.02353907677703]
Model-tuning Via Prompts (MVP) による対向的ロバスト性の評価
MVPは、標準的な方法よりも平均8%の性能向上を実現している。
また,これらの利得の基盤となるメカニズムの解明も行なっている。
論文 参考訳(メタデータ) (2023-03-13T17:41:57Z) - ZeroGen$^+$: Self-Guided High-Quality Data Generation in Efficient
Zero-Shot Learning [97.2907428983142]
ZeroGenは、純粋にPLMを使用してデータを生成し、タスク固有のアノテーションに頼ることなく、小さなモデルをトレーニングする。
金のデータを必要とせずに、サンプルごとの重み付けを学習できるノイズローバストなバイレベル再重み付けフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-25T11:38:48Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z) - e-ViL: A Dataset and Benchmark for Natural Language Explanations in
Vision-Language Tasks [52.918087305406296]
説明可能な視覚言語タスクを評価するベンチマークe-ViLを紹介します。
また、NLEで最大のデータセットであるe-SNLI-VEについても紹介する。
画像とテキストの共同埋め込みを学習するUNITERと、予め訓練された言語モデルであるGPT-2を組み合わせた新しいモデルを提案する。
論文 参考訳(メタデータ) (2021-05-08T18:46:33Z) - Automated essay scoring using efficient transformer-based language
models [0.5161531917413708]
Automated Essay Scoring(AES)は、教育、言語学、自然言語処理(NLP)を含む学際的な取り組みです。
大規模なプリトレーニングトランスフォーマーベースの言語モデルは、多くのNLPタスクで現在の最先端を支配しています。
この論文は、AESに関しては、より大きなNLPのパラダイムに挑むことを目的としています。
論文 参考訳(メタデータ) (2021-02-25T19:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。