論文の概要: Language-specific Calibration for Pruning Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2408.14398v2
• Date: Wed, 28 Aug 2024 12:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 12:58:09.301597
• Title: Language-specific Calibration for Pruning Multilingual Language Models
• Title（参考訳）: 多言語言語モデル作成のための言語固有の校正法
• Authors: Simon Kurz, Jian-Jia Chen, Lucie Flek, Zhixue Zhao,
• Abstract要約: 様々なタスク,モデル,最先端のプルーニング技術にまたがる多言語モデルのプルーニングのためのキャリブレーション言語を比較した。 対象言語のキャリブレーションは,主に流布やコヒーレンスに関連する言語固有の特徴の保存に寄与するが,言語理解や推論といった言語に依存しない特徴の獲得には寄与しないと考えられる。
• 参考スコア（独自算出の注目度）: 11.421452042888523
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language model (LLM) pruning have shown state-of-the-art compression results in post-training and retraining-free settings while maintaining high predictive performance. However, such research mainly considers calibrating pruning using English text, despite the multilingual nature of modern LLMs and their frequent uses in non-English languages. In this paper, we set out to explore effective strategies for calibrating the pruning of multilingual language models. We present the first comprehensive empirical study, comparing different calibration languages for pruning multilingual models across diverse tasks, models, and state-of-the-art pruning techniques. Our results present practical suggestions, for example, calibrating in the target language can efficiently yield lower perplexity, but does not necessarily benefit downstream tasks. Our further analysis experiments unveil that calibration in the target language mainly contributes to preserving language-specific features related to fluency and coherence, but might not contribute to capturing language-agnostic features such as language understanding and reasoning. Last, we provide practical recommendations for future practitioners.
• Abstract（参考訳）: 大規模言語モデル(LLM)プルーニングの最近の進歩は、高い予測性能を維持しながら、後トレーニングや再学習不要な設定において、最先端の圧縮結果を示している。 しかし、このような研究は主に、現代のLLMの多言語性や非英語言語での頻繁な使用にもかかわらず、英語のテキストを用いたプルーニングの校正について検討している。 本稿では,多言語言語モデルのプルーニングを校正するための効果的な戦略を探究する。 多様なタスク,モデル,最先端のプルーニング技術にまたがる多言語モデルにおけるキャリブレーション言語の比較を行った。 この結果から,例えば,対象言語を校正することで,効率の低いパープレキシティが得られるが,下流タスクのメリットは必ずしも得られない,という現実的な提案が得られた。 さらなる分析実験により,対象言語の校正が,言語理解や推論といった言語に依存しない特徴の獲得に大きく寄与するが,言語理解や推論といった言語に依存しない特徴の獲得には寄与しない可能性が示された。 最後に、将来の実践者には実践的なレコメンデーションを提供する。

関連論文リスト

• Targeted Multilingual Adaptation for Low-resource Language Families [17.212424929235624]
  我々は、事前学習されたモデルを言語族に適応させるためのベストプラクティスについて研究する。 適応モデルは単言語および多言語ベースラインを大きく上回る。 低リソース言語は、高リソース言語のパフォーマンスをほとんど犠牲にすることなく、トレーニング中に積極的にアップサンプリングできる。
  論文  参考訳（メタデータ） (2024-05-20T23:38:06Z)
• On the Calibration of Multilingual Question Answering LLMs [57.296161186129545]
  複数の多言語大言語モデル(MLLM)のキャリブレーションを様々な質問応答タスクでベンチマークする。 本研究では,分布内,分布外,言語間移動設定におけるキャリブレーションの異なる次元について検討する。 LlaMa2のようなデコーダのみのLLMでは、コンテキスト内学習は多言語データの信頼性校正を改善する。
  論文  参考訳（メタデータ） (2023-11-15T03:29:02Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• On the Multilingual Capabilities of Very Large-Scale English Language Models [0.0]
  GPT(Generative Pre-trained Transformer)は、機械学習の歴史において、前例のない規模に拡張されている。 本研究では,GPT-3の多言語的スキルについて検討し,事前学習用コーパスであるカタルーニャ語にはほとんど現れない1つの言語に着目した。 このモデルでは、特に生成タスクにおいて、主に言語理解タスクでは予測可能な制限があるが、ゼロショットシナリオでは顕著な結果が得られる。
  論文  参考訳（メタデータ） (2021-08-30T16:18:50Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• Are pre-trained text representations useful for multilingual and multi-dimensional language proficiency modeling? [6.294759639481189]
  本稿では,多次元多言語習熟度分類における事前学習および微調整多言語組込みの役割に関する実験と観察について述べる。 提案手法は,多言語習熟度モデリングに有用であるが,どの特徴も言語習熟度の全次元において一貫した最高の性能を得られていないことを示唆する。
  論文  参考訳（メタデータ） (2021-02-25T16:23:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。