論文の概要: Effectively Prompting Small-sized Language Models for Cross-lingual Tasks via Winning Tickets
- arxiv url: http://arxiv.org/abs/2404.01242v1
- Date: Mon, 1 Apr 2024 17:03:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 21:36:17.743612
- Title: Effectively Prompting Small-sized Language Models for Cross-lingual Tasks via Winning Tickets
- Title（参考訳）: ワイニングティケットによる言語間タスクのための小型言語モデルの有効性
- Authors: Mingqi Li, Feng Luo,
- Abstract要約: 現在のソフトプロンプト法は、小型モデルに適用した場合、限られた性能が得られる。
ディーププロンプトチューニングでは、各プロンプトの予測パラメータが有効性を高める。
本稿では,優勝チケットとソフトプロンプトを統合したLottery Ticket Prompt-learningフレームワークを紹介する。
- 参考スコア（独自算出の注目度）: 2.803947848713182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current soft prompt methods yield limited performance when applied to small-sized models (fewer than a billion parameters). Deep prompt-tuning, which entails prepending parameters in each layer for enhanced efficacy, presents a solution for prompting small-sized models, albeit requiring carefully designed implementation. In this paper, we introduce the Lottery Ticket Prompt-learning (LTP) framework that integrates winning tickets with soft prompts. The LTP offers a simpler implementation and requires only a one-time execution. We demonstrate LTP on cross-lingual tasks, where prior works rely on external tools like human-designed multilingual templates and bilingual dictionaries, which may not be feasible in a low-resource regime. Specifically, we select a subset of parameters that have been changed the most during the fine-tuning with the Masked Language Modeling objective. Then, we prepend soft prompts to the original pre-trained language model and only update the selected parameters together with prompt-related parameters when adapting to the downstream tasks. We verify the effectiveness of our LTP framework on cross-lingual tasks, specifically targeting low-resource languages. Our approach outperforms the baselines by only updating 20\% of the original parameters.
- Abstract（参考訳）: 現在のソフトプロンプト法は、小さなモデル(10億のパラメータ未満)に適用した場合、限られた性能が得られる。
有効性を高めるために各レイヤの事前パラメータを必要とするディーププロンプトチューニングは、慎重に設計された実装を必要とするが、小型モデルのプロンプトソリューションを提供する。
本稿では,優勝チケットとソフトプロンプトを統合したLottery Ticket Prompt-learning(LTP)フレームワークを提案する。
LTPはよりシンプルな実装を提供し、1回の実行しか必要としない。
LTPは、人間が設計した多言語テンプレートやバイリンガル辞書のような外部ツールに依存しており、低リソースのシステムでは実現できないかもしれない。
具体的には、Masked Language Modelingの目的を用いて、微調整の最中に最も変更されているパラメータのサブセットを選択する。
次に,従来の訓練済み言語モデルにソフトプロンプトをプリペイドし,下流タスクに適応する場合に,プロンプト関連パラメータとともに選択したパラメータのみを更新する。
低リソース言語を対象とする言語間タスクにおける LTP フレームワークの有効性を検証する。
提案手法は,元のパラメータの20%だけを更新することで,ベースラインを上回ります。
関連論文リスト
- Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in
Low-Resource Languages [0.0]
プロンプティング(prompting)とは、ユーザがタスクの説明と完了したタスクのいくつかの例を PLM にコンテキストとして提供し、PLM に新しい例でタスクを実行するように促す方法である。
提案手法は, 数発プロンプト(prompt), 言語適応微調整(LAFT), ニューラルマシン翻訳(Translate)の3種類である。
翻訳とプロンプトの設定は、選択した低リソース言語に対して、数ショットプロンプトの計算効率とコスト効率のよい方法であることがわかった。
論文 参考訳（メタデータ） (2024-03-09T21:36:13Z) - On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based
Multilingual Model [49.81429697921861]
多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。
高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2023-11-14T00:43:33Z) - One For All & All For One: Bypassing Hyperparameter Tuning with Model
Averaging For Cross-Lingual Transfer [61.455775535559276]
本稿では,ZS-XLTの教師なし評価プロトコルを提案する。
我々は、高レベルセマンティックタスク(NLI、抽出QA)と低レベルトークン分類タスク(NER)の両方について、幅広いZS-XLT実験を行う。
ソースコード検証に基づく従来のモデル選択は,高速にZS-XLTの性能を最適化する。
論文 参考訳（メタデータ） (2023-10-16T15:50:34Z) - Parameter-Efficient Cross-lingual Transfer of Vision and Language Models
via Translation-based Alignment [31.885608173448368]
CLIPのような事前訓練された視覚と言語モデルは、画像とテキストを英語のテキストに焦点を合わせることに顕著な成功を収めた。
異なる言語間のパフォーマンスの格差は、不均一なリソース可用性のために観測されている。
翻訳に基づくアライメント手法を用いて,多言語差を緩和するパラメータ効率のよい多言語間移動学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-02T14:09:02Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳（メタデータ） (2023-04-03T18:46:01Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳（メタデータ） (2022-06-04T10:08:50Z) - HyperPELT: Unified Parameter-Efficient Language Model Tuning for Both
Language and Vision-and-Language Tasks [38.43269863509866]
パラメータ効率のよい微調整をいかに行うかは、素早い移動学習と展開においてかなり重要になっている。
我々は、純粋言語とV&Lタスクの両方で効果的に機能する新しいパラメータ効率変換学習フレームワークを設計する。
提案フレームワークは,マルチタスク学習におけるトレーニング可能なパラメータを少なくし,最先端の手法に比べて優れた性能と伝達能力を実現している。
論文 参考訳（メタデータ） (2022-03-08T06:51:33Z) - Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified
Multilingual Prompt [98.26682501616024]
我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。
統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。
提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
論文 参考訳（メタデータ） (2022-02-23T11:57:52Z) - WARP: Word-level Adversarial ReProgramming [13.08689221166729]
多くのアプリケーションでは、多くのパラメータを複数のタスクで共有できるように、より小さなパラメータセットをチューニングすることが望ましい。
自動プロンプト生成に関する初期の研究を拡張した逆転プログラミングに基づく代替アプローチを提案する。
提案手法は,SST-2およびMNLIデータセット上で,類似のトレーニング可能なパラメータ数で他の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-01-01T00:41:03Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳（メタデータ） (2020-12-31T11:37:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。