論文の概要: Minimax and Neyman-Pearson Meta-Learning for Outlier Languages
- arxiv url: http://arxiv.org/abs/2106.01051v1
- Date: Wed, 2 Jun 2021 09:53:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 14:34:16.449337
- Title: Minimax and Neyman-Pearson Meta-Learning for Outlier Languages
- Title(参考訳): 外部言語のためのMinimaxとNeyman-Pearsonメタラーニング
- Authors: Edoardo Maria Ponti, Rahul Aralikatte, Disha Shrivastava, Siva Reddy,
Anders S{\o}gaard
- Abstract要約: モデルに依存しないメタラーニングにおけるi.d.仮定は、言語間NLPに不適であると主張する。
Minimax MAMLは言語間の最大リスクを低減し、Neyman-Pearson MAMLは言語間のリスクを最大しきい値に制限する。
- 参考スコア(独自算出の注目度): 9.321802232631576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model-agnostic meta-learning (MAML) has been recently put forth as a strategy
to learn resource-poor languages in a sample-efficient fashion. Nevertheless,
the properties of these languages are often not well represented by those
available during training. Hence, we argue that the i.i.d. assumption ingrained
in MAML makes it ill-suited for cross-lingual NLP. In fact, under a
decision-theoretic framework, MAML can be interpreted as minimising the
expected risk across training languages (with a uniform prior), which is known
as Bayes criterion. To increase its robustness to outlier languages, we create
two variants of MAML based on alternative criteria: Minimax MAML reduces the
maximum risk across languages, while Neyman-Pearson MAML constrains the risk in
each language to a maximum threshold. Both criteria constitute fully
differentiable two-player games. In light of this, we propose a new adaptive
optimiser solving for a local approximation to their Nash equilibrium. We
evaluate both model variants on two popular NLP tasks, part-of-speech tagging
and question answering. We report gains for their average and minimum
performance across low-resource languages in zero- and few-shot settings,
compared to joint multi-source transfer and vanilla MAML.
- Abstract(参考訳): モデルに依存しないメタラーニング(MAML)は、最近、サンプル効率のよい方法でリソースの乏しい言語を学習する戦略として提案されている。
それにもかかわらず、これらの言語の特性はしばしば訓練中に利用可能なものによく表されない。
したがって、我々はi.i.d.を主張する。
MAMLの仮定は言語間NLPに不適である。
実際、意思決定理論の枠組みの下では、mamlは(一様事前で)トレーニング言語間で予想されるリスクを最小限に抑えるものとして解釈することができる。
一方,Neyman-Pearson MAMLは各言語のリスクを最大しきい値に制限するのに対して,Minimax MAMLは言語間のリスクを最大に抑える。
どちらの基準も完全に差別化可能な2プレイヤーゲームである。
そこで本研究では,Nash平衡に対する局所近似に対する適応的最適解法を提案する。
2つの一般的なNLPタスク(音声タグ付けと質問応答)におけるモデル変異の評価を行った。
マルチソーストランスファーとバニラMAMLと比較して,低リソース言語におけるゼロおよび少数ショット設定における平均および最小パフォーマンスのゲインを報告する。
関連論文リスト
- adaptMLLM: Fine-Tuning Multilingual Language Models on Low-Resource
Languages with Integrated LLM Playgrounds [2.648836772989769]
adaptMLLMは、機械翻訳のための細調整多言語言語モデル(MLLM)のためのオープンソースツールである。
モデル評価のためのさまざまなメトリクスと、アプリケーション内で直接変換サービスとしてモデルをデプロイする機能を提供する。
AdaptMLLMシステムはLoResMT 2021の共有タスクのベースラインと比較して大幅に改善された。
論文 参考訳(メタデータ) (2024-03-04T14:49:18Z) - Towards Building Multilingual Language Model for Medicine [56.469984729667345]
我々は、様々な地域から広く、言語的に多様な聴衆に利益をもたらす、医療のためのオープンソースの多言語言語モデルを開発することを目指している。
MMedCと呼ばれる6つの主要言語を含む約25.5Bトークンを含む多言語医療用コーパスを構築した。
本稿では,MMedBenchと呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。
コード、モデルの重み付け、データセットを含むリソースを公開します。
論文 参考訳(メタデータ) (2024-02-21T17:47:20Z) - YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。
YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。
ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
論文 参考訳(メタデータ) (2023-12-22T17:34:47Z) - Multilingual Sentence-Level Semantic Search using Meta-Distillation
Learning [73.69884850632431]
多言語セマンティックサーチは モノリンガルやバイリンガルよりも 探究も困難です
我々は,MAML-Align,特に低リソースシナリオに対するアライメントアプローチを提案する。
以上の結果から, メタ蒸留法によりMAMLの利得が向上し, ナイーブ微調整法よりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2023-09-15T06:22:37Z) - Democratizing LLMs for Low-Resource Languages by Leveraging their
English Dominant Abilities with Linguistically-Diverse Prompts [36.939044809209456]
大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。
我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。
我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
論文 参考訳(メタデータ) (2023-06-20T08:27:47Z) - Mitigating Data Imbalance and Representation Degeneration in
Multilingual Machine Translation [103.90963418039473]
Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。
Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
論文 参考訳(メタデータ) (2023-05-22T07:31:08Z) - Learning Disentangled Semantic Representations for Zero-Shot
Cross-Lingual Transfer in Multilingual Machine Reading Comprehension [40.38719019711233]
マルチリンガル事前学習モデルは、機械読取理解(MRC)において、リッチリソース言語から低リソース言語への移行知識をゼロショットで得ることができる
本稿では,シメセマンティック・ディスタングルメント・モデル(SSDM)を用いた,多言語事前学習モデルで学習した表現の構文から意味論を解離させる新しい多言語MRCフレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-03T05:26:42Z) - Cross-Lingual Text Classification with Multilingual Distillation and
Zero-Shot-Aware Training [21.934439663979663]
多言語事前学習言語モデル(MPLM)に基づくマルチブランチ多言語言語モデル(MBLM)
教師学習フレームワークを用いた高性能単言語モデルからの知識の伝達に基づく方法
2つの言語横断型分類タスクの結果から,MPLMの教師付きデータのみを用いることで,教師付き性能とゼロショット性能が向上することが示された。
論文 参考訳(メタデータ) (2022-02-28T09:51:32Z) - Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。
この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。
本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文 参考訳(メタデータ) (2021-09-09T03:48:35Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。