論文の概要: Polyglot Prompt: Multilingual Multitask PrompTraining
- arxiv url: http://arxiv.org/abs/2204.14264v1
- Date: Fri, 29 Apr 2022 17:40:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-05-02 14:26:21.365775
- Title: Polyglot Prompt: Multilingual Multitask PrompTraining
- Title（参考訳）: 多言語プロンプト:多言語マルチタスクプロンプトレイニング
- Authors: Jinlan Fu, See-Kiong Ng, Pengfei Liu
- Abstract要約: 異なる言語から異なるタスクを(タスク/言語固有のモジュールを使わずに)モノリシックなフレームワークでモデル化できるだろうか?
学習フレームワークであるPolyglot Promptを開発し、適切な多言語プロンプトエンジニアリングの後、異なる言語やタスクの統一的な意味空間を学習するためのプロンプト手法を導入する。
- 参考スコア（独自算出の注目度）: 35.70124413465395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper aims for a potential architectural breakthrough for multilingual
learning and asks: could different tasks from different languages be modeled in
a monolithic framework (without any task/language-specific module)? The benefit
of achieving this is not only that systems trained on low resources scenario
can be assisted by more other languages and tasks, but opening new doors for
future multilingual research. We approach this goal by developing a learning
framework Polyglot Prompt, where prompting methods are introduced to learn a
unified semantic space for different languages and tasks after proper
multilingual prompt engineering. Experimentally, we perform a comprehensive
evaluation on 6 tasks (topic classification, sentiment classification, named
entity recognition, question answering, natural language inference,
summarization), 24 datasets, and 49 languages, which shows the efficacy of
multilingual multitask prompting training and suggests several interesting
observations. e.g., English prompts are polyglots since directly applying them
to task samples in other languages could result in a better improvement. We
also present an interpretable multilingual evaluation methodology and show how
the proposed framework, multilingual multitask prompt training, works. We
release all datasets prompted in the best setting and will release our code
soon.
- Abstract（参考訳）: 異なる言語から異なるタスクを(タスク/言語固有のモジュールを使わずに)モノリシックなフレームワークでモデル化できるだろうか?
これを実現するメリットは、低リソースシナリオでトレーニングされたシステムが、他の言語やタスクによって支援されるだけでなく、将来の多言語研究のための新たなドアを開くことだ。
学習フレームワークであるPolyglot Promptを開発し、適切な多言語プロンプトエンジニアリングの後、異なる言語やタスクの統一的な意味空間を学習するためのプロンプト手法を導入する。
対象分類,感情分類,名前付きエンティティ認識,質問応答,自然言語推論,要約,24のデータセット,49の言語を包括的に評価し,マルチリンガル・マルチタスク・プロンプト・トレーニングの有効性を示すとともに,いくつかの興味深い知見を提案する。
例えば、英語のプロンプトは多言語であるため、他の言語のタスクサンプルに直接適用することで改善される可能性がある。
また, 解釈可能な多言語評価手法を提案し, 提案手法である多言語多言語プロンプトトレーニングがどのように機能するかを示す。
すべてのデータセットを最高の設定でリリースし、すぐにコードをリリースします。
関連論文リスト
- Linguistically-Informed Multilingual Instruction Tuning: Is There an Optimal Set of Languages to Tune? [0.0]
本研究では,言語情報を用いた指導指導のための言語選択手法を提案する。
簡単なアルゴリズムを用いて、多様な言語を選択し、様々なベンチマークやオープンエンドの質問でそれらの有効性をテストする。
その結果、この慎重な選択は、言語をランダムに選択するよりも、より優れた結果をもたらすことがわかった。
論文 参考訳（メタデータ） (2024-10-10T10:57:24Z) - How do Large Language Models Handle Multilingualism? [81.15060972112563]
本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。
LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。
中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
論文 参考訳（メタデータ） (2024-02-29T02:55:26Z) - On Efficiently Acquiring Annotations for Multilingual Models [12.304046317362792]
一つのモデルを用いて複数の言語にまたがる共同学習の戦略は、上記の選択肢よりもかなり優れていることを示す。
この単純なアプローチにより、アノテーションの予算を不確実な言語に問い合わせることによって、モデルがデータ効率を向上できることを示す。
論文 参考訳（メタデータ） (2022-04-03T07:42:13Z) - Towards Developing a Multilingual and Code-Mixed Visual Question
Answering System by Knowledge Distillation [20.33235443471006]
本稿では,英語ビジョンモデル(教師)を,等しく効果的な多言語・コード混合モデル(学生)に拡張する知識蒸留手法を提案する。
また、大規模な多言語およびコード混合VQAデータセットを11の異なる言語セットアップで作成します。
実験結果と深部分析により,11種類の言語セットアップ上で,事前学習した言語ビジョンモデルに対して提案したVQAモデルの有効性が示された。
論文 参考訳（メタデータ） (2021-09-10T03:47:29Z) - Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。
この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文 参考訳（メタデータ） (2021-03-24T16:20:02Z) - Meta-Learning for Effective Multi-task and Multilingual Modelling [23.53779501937046]
タスクと言語間の相互作用を学ぶためのメタラーニング手法を提案する。
我々は、XTREME多言語ベンチマークデータセットから5つの異なるタスクと6つの異なる言語に関する実験を提示する。
論文 参考訳（メタデータ） (2021-01-25T19:30:26Z) - CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot
Cross-Lingual NLP [68.2650714613869]
我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。
既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
論文 参考訳（メタデータ） (2020-06-11T13:15:59Z) - M3P: Learning Universal Representations via Multitask Multilingual
Multimodal Pre-training [119.16007395162431]
M3Pは、多言語事前訓練と多言語事前訓練を組み合わせた多言語マルチモーダル事前訓練モデルである。
我々は,M3Pが英語に匹敵する結果が得られることを示す。
論文 参考訳（メタデータ） (2020-06-04T03:54:29Z) - Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。
単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
論文 参考訳（メタデータ） (2020-04-09T01:03:44Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳（メタデータ） (2020-03-24T19:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。