論文の概要: Parameterizing Context: Unleashing the Power of Parameter-Efficient
Fine-Tuning and In-Context Tuning for Continual Table Semantic Parsing
- arxiv url: http://arxiv.org/abs/2310.04801v1
- Date: Sat, 7 Oct 2023 13:40:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 15:26:59.457304
- Title: Parameterizing Context: Unleashing the Power of Parameter-Efficient
Fine-Tuning and In-Context Tuning for Continual Table Semantic Parsing
- Title（参考訳）: パラメータ化コンテキスト:連続テーブル意味解析のためのパラメータ効率の良い微調整とコンテキスト内チューニングのパワーを解き放つ
- Authors: Yongrui Chen, Shenyu Zhang, Guilin Qi, Xinnan Guo
- Abstract要約: 本稿では,連続的なテーブルセマンティック解析のトレーニングに,PEFT(textitcontext- efficient fine-tuning)とICT(textitin-adaptive tuning)を統合した新しい手法を提案する。
教員は、ICTを用いて、いくつかのトレーニング例を示すことで、文脈情報を取得する、いくつかのショット問題に対処する。
代わりに、提案したPEFTフレームワークを利用して教師の出力分布から学習し、その後、文脈情報をプロンプトに圧縮保存し、トレーニング例を保存する必要がなくなる。
- 参考スコア（独自算出の注目度）: 13.51721352349583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual table semantic parsing aims to train a parser on a sequence of
tasks, where each task requires the parser to translate natural language into
SQL based on task-specific tables but only offers limited training examples.
Conventional methods tend to suffer from overfitting with limited supervision,
as well as catastrophic forgetting due to parameter updates. Despite recent
advancements that partially alleviate these issues through semi-supervised data
augmentation and retention of a few past examples, the performance is still
limited by the volume of unsupervised data and stored examples. To overcome
these challenges, this paper introduces a novel method integrating
\textit{parameter-efficient fine-tuning} (PEFT) and \textit{in-context tuning}
(ICT) for training a continual table semantic parser. Initially, we present a
task-adaptive PEFT framework capable of fully circumventing catastrophic
forgetting, which is achieved by freezing the pre-trained model backbone and
fine-tuning small-scale prompts. Building on this, we propose a teacher-student
framework-based solution. The teacher addresses the few-shot problem using ICT,
which procures contextual information by demonstrating a few training examples.
In turn, the student leverages the proposed PEFT framework to learn from the
teacher's output distribution, and subsequently compresses and saves the
contextual information to the prompts, eliminating the need to store any
training examples. Experimental evaluations on two benchmarks affirm the
superiority of our method over prevalent few-shot and continual learning
baselines across various metrics.
- Abstract（参考訳）: 連続的なテーブルセマンティックパーシングは、タスクのシーケンスでパーサをトレーニングすることを目的としており、各タスクはタスク固有のテーブルに基づいて自然言語をSQLに変換するパーサを必要とするが、限られたトレーニング例のみを提供する。
従来の手法は、パラメータ更新による破滅的な忘れるだけでなく、限定的な監督によって過度に適合しがちである。
半教師なしデータの増大と過去の例の維持によって、これらの問題を部分的に緩和する最近の進歩にもかかわらず、その性能は教師なしデータの量や保存された例によって制限されている。
これらの課題を克服するため,本稿では,連続テーブル意味パーサを学習するための新しい手法である \textit{parameter- efficient fine-tuning} (peft) と \textit{in-context tuning} (ict) を提案する。
まず,学習済みのモデルバックボーンと微調整小型プロンプトを凍結することにより,破滅的忘れを回避できるタスク適応型PEFTフレームワークを提案する。
これに基づいて,教師が学習するフレームワークベースのソリューションを提案する。
教師はICTを用いて、いくつかのトレーニング例を示すことで、文脈情報を取得する。
次に、生徒は提案されているpeftフレームワークを利用して教師の出力分布から学び、プロンプトにコンテキスト情報を圧縮保存し、トレーニング例を格納する必要がないようにする。
2つのベンチマークによる実験結果から,本手法が様々な指標において有意な数ショットおよび連続学習ベースラインよりも優れていることが示された。
関連論文リスト
- Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。
入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。
敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
論文 参考訳（メタデータ） (2024-10-22T17:45:47Z) - Semantic Parsing in Limited Resource Conditions [19.689433249830465]
この論文はセマンティック解析における課題を探求し、特に限られたデータと計算資源のシナリオに焦点を当てている。
自動データキュレーション、知識伝達、アクティブラーニング、継続的な学習といったテクニックを使ったソリューションを提供する。
論文 参考訳（メタデータ） (2023-09-14T05:03:09Z) - How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。
これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。
近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
論文 参考訳（メタデータ） (2023-02-22T17:45:12Z) - Stabilized In-Context Learning with Pre-trained Language Models for Few
Shot Dialogue State Tracking [57.92608483099916]
大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。
対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。
対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
論文 参考訳（メタデータ） (2023-02-12T15:05:10Z) - Dynamic Prompt Learning via Policy Gradient for Semi-structured
Mathematical Reasoning [150.17907456113537]
数学的な推論を必要とする38,431のグレードレベルの問題を含む新しいデータセットであるTabular Math Word Problems (TabMWP)を提案する。
我々は,GPT-3モデルを含む,TabMWP上での事前学習モデルの評価を行った。
本稿では、ポリシー勾配を利用して、少量のトレーニングデータからコンテキスト内サンプルを選択する新しいアプローチ、PromptPGを提案する。
論文 参考訳（メタデータ） (2022-09-29T08:01:04Z) - Leveraging Natural Supervision for Language Representation Learning and
Generation [8.083109555490475]
自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。
まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。
文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-21T17:26:03Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳（メタデータ） (2022-06-04T10:08:50Z) - Making Pre-trained Language Models End-to-end Few-shot Learners with
Contrastive Prompt Tuning [41.15017636192417]
CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。
完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。
IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-04-01T02:24:24Z) - In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。
大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。
これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
論文 参考訳（メタデータ） (2022-03-16T11:58:24Z) - Hierarchical Multitask Learning Approach for BERT [0.36525095710982913]
BERTは、マスク付き言語モデル(masked LM)と次の文予測(NSP)である2つのタスクを解くことで埋め込みを学習する
BERT事前学習には階層型マルチタスク学習アプローチを採用する。
この結果から,タスク階層を事前学習に組み込むことで,組込み性能が向上することが示唆された。
論文 参考訳（メタデータ） (2020-10-17T09:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。