論文の概要: Is Prompt-Based Finetuning Always Better than Vanilla Finetuning?
Insights from Cross-Lingual Language Understanding
- arxiv url: http://arxiv.org/abs/2307.07880v1
- Date: Sat, 15 Jul 2023 20:33:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 17:20:03.573703
- Title: Is Prompt-Based Finetuning Always Better than Vanilla Finetuning?
Insights from Cross-Lingual Language Understanding
- Title（参考訳）: バニラファインタニングよりプロンプトベースのファインタニングの方が良いのか?
言語間理解からの洞察
- Authors: Bolei Ma, Ercong Nie, Helmut Schmid, Hinrich Sch\"utze
- Abstract要約: 本稿では, Prompt-based Finetuning の言語間機能を調べるために, ProFiT パイプラインを提案する。
本研究は,言語間言語理解におけるアクシデントベースファインタニングの有効性と汎用性を明らかにするものである。
- 参考スコア（独自算出の注目度）: 0.30586855806896046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multilingual pretrained language models (MPLMs) have demonstrated substantial
performance improvements in zero-shot cross-lingual transfer across various
natural language understanding tasks by finetuning MPLMs on task-specific
labelled data of a source language (e.g. English) and evaluating on a wide
range of target languages. Recent studies show that prompt-based finetuning
surpasses regular finetuning in few-shot scenarios. However, the exploration of
prompt-based learning in multilingual tasks remains limited. In this study, we
propose the ProFiT pipeline to investigate the cross-lingual capabilities of
Prompt-based Finetuning. We conduct comprehensive experiments on diverse
cross-lingual language understanding tasks (sentiment classification,
paraphrase identification, and natural language inference) and empirically
analyze the variation trends of prompt-based finetuning performance in
cross-lingual transfer across different few-shot and full-data settings. Our
results reveal the effectiveness and versatility of prompt-based finetuning in
cross-lingual language understanding. Our findings indicate that prompt-based
finetuning outperforms vanilla finetuning in full-data scenarios and exhibits
greater advantages in few-shot scenarios, with different performance patterns
dependent on task types. Additionally, we analyze underlying factors such as
language similarity and pretraining data size that impact the cross-lingual
performance of prompt-based finetuning. Overall, our work provides valuable
insights into the cross-lingual prowess of prompt-based finetuning.
- Abstract（参考訳）: 多言語事前学習言語モデル(mplms)は、ソース言語(例えば英語)のタスク固有のラベル付きデータにmplmを微調整し、幅広い対象言語で評価することで、様々な自然言語理解タスクにおけるゼロショットクロスリンガルトランスファーの性能向上を実証した。
最近の研究では、プロンプトベースファインタニングが数ショットのシナリオで通常のファインタニングを上回ることが示されている。
しかし,多言語課題におけるプロンプトベース学習の探索は限られている。
本研究では,Prompt-based Finetuningの言語間通信能力を検討するために,ProFiTパイプラインを提案する。
本研究では,多言語間言語理解タスク(感性分類,パラフレーズ識別,自然言語推論)に関する総合的な実験を行い,複数ショットおよび全データ設定間での言語間移動におけるプロンプトベースファインタニング性能の変化傾向を実験的に分析する。
この結果から,言語間理解におけるアクシデントベースファインタニングの有効性と汎用性を明らかにした。
以上の結果から,全データシナリオでバニラファインタニング性能が向上し,タスクタイプによって異なるパフォーマンスパターンを伴って,数ショットシナリオで大きな優位性を示すことが示唆された。
さらに,プロンプトベースファインタニングの言語間性能に影響を及ぼす言語類似性や事前学習データサイズなどの基礎的要因を解析する。
全体として、我々の研究は、プロンプトベースの微調整の言語横断能力に関する貴重な洞察を提供します。
関連論文リスト
- An Initial Investigation of Language Adaptation for TTS Systems under Low-resource Scenarios [76.11409260727459]
本稿では,最近のSSLベースの多言語TSシステムであるZMM-TTSの言語適応性について検討する。
本研究では,事前学習言語と対象言語との音声学的な類似性が,対象言語の適応性能に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2024-06-13T08:16:52Z) - Deep Exploration of Cross-Lingual Zero-Shot Generalization in Instruction Tuning [47.75550640881761]
非英語タスクに適用することで、命令チューニングにおける言語間一般化について検討する。
我々は、言語における不一致を軽減するために言語間テンプレートを設計し、トレーニングと推論の間のテンプレートの命令形式を規定する。
実験の結果,英語と韓国語の両方の言語間一般化による一貫した改善が示された。
論文 参考訳（メタデータ） (2024-06-13T04:10:17Z) - Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in
Multilingual Language Models [12.662039551306632]
その結果,多言語モデルの高性能化は,実際の言語知識の伝達を必要としない要因が主な原因であることが示唆された。
具体的には、特に低リソース言語において、言語間で転送されたものは、主にデータアーチファクトとバイアスです。
論文 参考訳（メタデータ） (2024-02-03T09:41:52Z) - On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based
Multilingual Model [49.81429697921861]
多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。
高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2023-11-14T00:43:33Z) - BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual
Transfer [81.5984433881309]
本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。
BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。
コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
論文 参考訳（メタデータ） (2023-05-24T08:06:33Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳（メタデータ） (2023-04-03T18:46:01Z) - Multilingual Relation Classification via Efficient and Effective
Prompting [9.119073318043952]
本稿では,プロンプトベース多言語関係分類(RC)に関する最初の研究について述べる。
本稿では,関係3重項からプロンプトを合成し,クラスラベルの最小翻訳のみを伴う効率的かつ効率的な手法を提案する。
完全教師付き、少数ショット、ゼロショットのシナリオでその性能を評価し、14言語でその有効性を分析した。
論文 参考訳（メタデータ） (2022-10-25T08:40:23Z) - Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual
Understanding With Multilingual Language Models [95.32691891392903]
本稿では,プロンプトチューニングを用いた様々なNLUタスクの言語間評価を行い,それを微調整と比較する。
その結果, アクシデントチューニングは, データセット間の微調整よりもはるかに優れた言語間移動を実現することがわかった。
論文 参考訳（メタデータ） (2022-10-22T05:48:02Z) - Multi Task Learning For Zero Shot Performance Prediction of Multilingual
Models [12.759281077118567]
多言語トランスフォーマーに基づく言語モデルは、言語間のゼロショット転送において驚くほど効果的であることが観察されている。
我々は,タスク上のゼロショット性能をマルチタスク学習問題としてモデル化することにより,タスク上のゼロショット性能を予測するための既存の手法を構築した。
論文 参考訳（メタデータ） (2022-05-12T14:47:03Z) - On the Importance of Word Order Information in Cross-lingual Sequence
Labeling [80.65425412067464]
ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。
本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
論文 参考訳（メタデータ） (2020-01-30T03:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。