論文の概要: The Privileged Students: On the Value of Initialization in Multilingual Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2406.16524v2
• Date: Fri, 08 Nov 2024 05:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:52:31.978284
• Title: The Privileged Students: On the Value of Initialization in Multilingual Knowledge Distillation
• Title（参考訳）: 専門学生:多言語知識蒸留における初期化の意義について
• Authors: Haryo Akbarianto Wibowo, Thamar Solorio, Alham Fikri Aji,
• Abstract要約: 知識蒸留(KD)は、多くのNLPタスクにおいて、より小さなモデルの性能を向上させるための成功戦略であることが証明されている。 学生モデルが教師モデルから多言語知識をいかに獲得するかを分析することで、多言語設定におけるKDの価値について検討する。
• 参考スコア（独自算出の注目度）: 18.919374970049468
• License:
• Abstract: Knowledge distillation (KD) has proven to be a successful strategy to improve the performance of smaller models in many NLP tasks. However, most of the work in KD only explores monolingual scenarios. In this paper, we investigate the value of KD in multilingual settings. We find the significance of KD and model initialization by analyzing how well the student model acquires multilingual knowledge from the teacher model. Our proposed method emphasizes copying the teacher model's weights directly to the student model to enhance initialization. Our findings show that model initialization using copy-weight from the fine-tuned teacher contributes the most compared to the distillation process itself across various multilingual settings. Furthermore, we demonstrate that efficient weight initialization preserves multilingual capabilities even in low-resource scenarios.
• Abstract（参考訳）: 知識蒸留(KD)は、多くのNLPタスクにおいて、より小さなモデルの性能を向上させるための成功戦略であることが証明されている。 しかしながら、KDにおけるほとんどの研究は単言語シナリオのみを探求している。 本稿では,多言語設定におけるKDの価値について検討する。 KDとモデル初期化の重要性は,教師モデルから多言語的知識をいかに獲得するかを学生モデルで分析することによって明らかとなる。 提案手法は,教師モデルの重みを学生モデルに直接コピーして初期化を高めることを強調する。 本研究は, 教師の複写重みを用いたモデル初期化が, 蒸留プロセス自体の多言語化に最も寄与していることを示す。 さらに,低リソースシナリオにおいても,効率的な重み初期化が多言語機能を維持することを示す。

関連論文リスト

• Revisiting Knowledge Distillation for Autoregressive Language Models [88.80146574509195]
  知識蒸留(KD)を改善するための簡易かつ効果的な適応型教育法(ATKD)を提案する。 ATKDの中核は、ロート学習を減らし、教育をより多様で柔軟なものにすることだ。 8つのLMタスクの実験は、ATKDの助けを借りて、様々なベースラインのKD手法が一貫した、重要なパフォーマンス向上を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-19T07:01:10Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• MiniLLM: Knowledge Distillation of Large Language Models [112.93051247165089]
  知識蒸留(KD)は,大規模言語モデル(LLM)の高い計算要求を低減させる,有望な手法である。 より小さな言語モデルにLPMを蒸留するKD手法を提案する。 提案手法は,120Mから13Bのパラメータを持つ異なるモデルファミリに対してスケーラブルである。
  論文  参考訳（メタデータ） (2023-06-14T14:44:03Z)
• DistilXLSR: A Light Weight Cross-Lingual Speech Representation Model [16.31307448314024]
  蒸留言語間音声表現モデルであるDistilXLSRを提案する。 既存の音声の音素をランダムにシャッフルすることにより、言語情報を減らし、英語データのみを用いて言語間モデルを蒸留する。 本手法は,様々な言語/教師モデルに対して一般化可能であることが証明され,英語事前学習モデルの言語間性能を向上させる可能性がある。
  論文  参考訳（メタデータ） (2023-06-02T07:03:06Z)
• Multi-level Distillation of Semantic Knowledge for Pre-training Multilingual Language Model [15.839724725094916]
  マルチレベル多言語知識蒸留(MMKD)は,多言語言語モデルを改善するための新しい手法である。 我々は、英語のBERTでリッチな意味表現の知識を採用するために、教師中心のフレームワークを採用している。 我々は,XNLI,PAWS-X,XQuADなどの言語間評価ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2022-11-02T15:23:13Z)
• UM4: Unified Multilingual Multiple Teacher-Student Model for Zero-Resource Neural Machine Translation [102.04003089261761]
  MNMT(Multilingual Neural Machine Translation)は、すべての言語で共有セマンティック空間を用いたワンパス翻訳を可能にする。 NMTのための統一多言語多言語学習モデル(UM4)を提案する。 本手法は,ゼロリソース翻訳の学生モデルを指導するために,ソース・教師,ターゲット・教師,ピボット・教師のモデルを統一する。
  論文  参考訳（メタデータ） (2022-07-11T14:22:59Z)
• Towards Developing a Multilingual and Code-Mixed Visual Question Answering System by Knowledge Distillation [20.33235443471006]
  本稿では,英語ビジョンモデル(教師)を,等しく効果的な多言語・コード混合モデル(学生)に拡張する知識蒸留手法を提案する。 また、大規模な多言語およびコード混合VQAデータセットを11の異なる言語セットアップで作成します。 実験結果と深部分析により,11種類の言語セットアップ上で,事前学習した言語ビジョンモデルに対して提案したVQAモデルの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-10T03:47:29Z)
• MergeDistill: Merging Pre-trained Language Models using Distillation [5.396915402673246]
  我々は、最小限の依存関係で彼らの資産を最大限に活用できる方法で、事前訓練されたLMをマージするフレームワークであるMergeDistillを提案する。 我々は,既存の教師LMと,何桁ものデータと固定モデルキャパシティで訓練された教師LMとの競争力や性能を向上する訓練学生LMを活用して,実践的にフレームワークの適用性を実証する。
  論文  参考訳（メタデータ） (2021-06-05T08:22:05Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• Structure-Level Knowledge Distillation For Multilingual Sequence Labeling [73.40368222437912]
  本稿では,複数の単言語モデルの構造的知識を統一多言語モデル(学生)に蒸留することにより,単言語モデルと統一多言語モデルとのギャップを低減することを提案する。 25のデータセットを用いた4つの多言語タスクの実験により、我々のアプローチはいくつかの強いベースラインを上回り、ベースラインモデルと教師モデルの両方よりも強力なゼロショット一般化性を有することが示された。
  論文  参考訳（メタデータ） (2020-04-08T07:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。