Fugu-MT 論文翻訳(概要): The Power of Prompt Tuning for Low-Resource Semantic Parsing

論文の概要: The Power of Prompt Tuning for Low-Resource Semantic Parsing

arxiv url: http://arxiv.org/abs/2110.08525v1
Date: Sat, 16 Oct 2021 09:33:09 GMT
ステータス: 処理完了
システム内更新日: 2021-10-19 16:00:23.664077
Title: The Power of Prompt Tuning for Low-Resource Semantic Parsing
Title（参考訳）: 低リソースセマンティクス解析のためのプロンプトチューニングのパワー
Authors: Nathan Schucher, Siva Reddy, Harm de Vries
Abstract要約: 意味解析のためのプロンプトチューニングについて検討する。大規模なT5モデルの場合(つまり、チューニングの速さが低いデータ構造において微調整を著しく上回っている)。この最後の結果は、大きなT5モデルが事前学習された分布から遠く離れた配列を生成するように変調できることを示唆している。
参考スコア（独自算出の注目度）: 10.37371743879877
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prompt tuning has recently emerged as an effective method for adapting pre-trained language models to a number of language tasks. In this paper, we investigate prompt tuning for semantic parsing, the task of mapping natural language utterances onto formal meaning representations. For large T5 models we find (i) that prompt tuning significantly outperforms fine-tuning in the low data regime and (ii) that canonicalization -- i.e. naturalizing the meaning representations -- barely improves performance. This last result is surprising as it suggests that large T5 models can be modulated to generate sequences that are far from the pre-training distribution.
Abstract（参考訳）: プロンプトチューニングは、多くの言語タスクに事前学習された言語モデルを適用する効果的な方法として最近登場した。本稿では,自然言語の発話を形式的意味表現にマッピングする作業である意味解析のプロンプトチューニングについて検討する。大型のT5モデルでは (i)低データ環境において、微調整を大幅に上回るチューニングを迅速に行うこと。 (ii) 正規化 -- つまり表現の自然化 -- はパフォーマンスをほとんど改善しない。この最後の結果は、大きなT5モデルが事前学習分布から遠く離れたシーケンスを生成するように変調できることを示唆している。

関連論文リスト

Ensembling Finetuned Language Models for Text Classification [55.15643209328513]
ファインタニング(英: Finetuning)は、特定のタスクに事前訓練されたモデルを適用するために、様々なコミュニティで一般的なプラクティスである。ニューラルネットワークのアンサンブルは、通常、パフォーマンスを高め、信頼性の高い不確実性推定を提供するために使用される。 6つのデータセット上の5つの大きめのモデルから予測されたメタデータセットを提示し、異なるアンサンブル戦略の結果を報告する。
論文参考訳（メタデータ） (2024-10-25T09:15:54Z)
Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
論文参考訳（メタデータ） (2024-07-03T15:01:18Z)
SuperPos-Prompt: Enhancing Soft Prompt Tuning of Language Models with Superposition of Multi Token Embeddings [0.7349727826230863]
事前訓練された言語モデルのパラメータ効率チューニングに有効な手法として,ソフトプロンプトチューニング技術が注目を集めている。ソフトプロンプトの学習を改善するために,複数の事前学習語彙の埋め込みを重畳した新しい再パラメータ化手法であるSuperPos-Promptを導入する。我々の実験は、Residual Promptチューニングに対するSuperPos-Promptの優位性を常に強調しており、平均スコアはT5-Smallで$6.4$、T5-Baseで$5.0$である。驚くべきことに、SuperPos-Promptは時々、完全な微調整方法よりも優れています。
論文参考訳（メタデータ） (2024-06-07T22:18:49Z)
UT5: Pretraining Non autoregressive T5 with unrolled denoising [9.656399724144192]
自動回帰型T5モデルの教師なし事前訓練について,非学習型聴覚障害者を用いて検討した。我々は,SQuAD質問生成やXSumなどの下流生成タスクにおいて,そのSoTA結果を示した。
論文参考訳（メタデータ） (2023-11-14T21:28:10Z)
Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文参考訳（メタデータ） (2023-08-23T12:36:57Z)
Are Character-level Translations Worth the Wait? Comparing ByT5 and mT5 for Machine Translation [9.736284584478032]
特に微調整データに制限がある場合の翻訳における文字レベルのモデリングの有効性を示す。モデル予測の駆動におけるソーステキストの重要性を評価する一方で,ByT5内の単語レベルのパターンを強調した。我々は、バイトモデルの効率トレードオフを評価し、翻訳品質を高めるために、非時間クリティカルなシナリオでの使用法を提案する。
論文参考訳（メタデータ） (2023-02-28T00:50:19Z)
Simple and Effective Gradient-Based Tuning of Sequence-to-Sequence Models [8.370770440898454]
より大きな言語モデルをトレーニングする膨大なコストは、チューニングを違法に高価にする可能性がある。本稿では,勾配に基づくハイパーパラメータ最適化をシーケンシャル・ツー・シーケンス・タスクに初めて適用する。ニューラルネットワーク翻訳と自然言語理解(NLU)の両タスクにおいて,強いベースラインに対する効率性と性能の向上を示す。
論文参考訳（メタデータ） (2022-09-10T14:52:41Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
論文参考訳（メタデータ） (2022-03-31T03:26:55Z)
Improving Compositional Generalization with Self-Training for Data-to-Text Generation [36.973617793800315]
データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
論文参考訳（メタデータ） (2021-10-16T04:26:56Z)
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。