論文の概要: How to Tune a Multilingual Encoder Model for Germanic Languages: A Study of PEFT, Full Fine-Tuning, and Language Adapters

• arxiv url: http://arxiv.org/abs/2501.06025v1
• Date: Fri, 10 Jan 2025 15:01:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:28.362392
• Title: How to Tune a Multilingual Encoder Model for Germanic Languages: A Study of PEFT, Full Fine-Tuning, and Language Adapters
• Title（参考訳）: ゲルマン語用多言語エンコーダモデルのチューニング方法:PEFT, フルファインチューニング, 言語適応器の検討
• Authors: Romina Oji, Jenny Kunz,
• Abstract要約: 本稿では,多言語エンコーダモデルmDeBERTaのゲルマン語のタスクに対する最適利用について検討する。 パラメータ効率のよいファインチューニング(PEFT)手法であるLoRAとPfeifferのボトルネックアダプタとの比較を行った。 PEFTは質問応答に向いているが、名前付きエンティティ認識には完全な微調整が好ましい。
• 参考スコア（独自算出の注目度）: 0.7366405857677227
• License:
• Abstract: This paper investigates the optimal use of the multilingual encoder model mDeBERTa for tasks in three Germanic languages -- German, Swedish, and Icelandic -- representing varying levels of presence and likely data quality in mDeBERTas pre-training data. We compare full fine-tuning with the parameter-efficient fine-tuning (PEFT) methods LoRA and Pfeiffer bottleneck adapters, finding that PEFT is more effective for the higher-resource language, German. However, results for Swedish and Icelandic are less consistent. We also observe differences between tasks: While PEFT tends to work better for question answering, full fine-tuning is preferable for named entity recognition. Inspired by previous research on modular approaches that combine task and language adapters, we evaluate the impact of adding PEFT modules trained on unstructured text, finding that this approach is not beneficial.
• Abstract（参考訳）: 本稿では,多言語エンコーダモデルmDeBERTaのドイツ語,スウェーデン語,アイスランド語の3言語タスクにおける最適利用について検討する。 パラメータ効率のよい微細チューニング(PEFT)手法であるLoRAとPfeifferのボトルネックアダプタと比較し,PEFTが高リソース言語,ドイツ語に対してより有効であることが確認された。 しかし、スウェーデン語とアイスランド語の結果は一致していない。 PEFTは質問応答ではうまく機能する傾向にあるが、名前付きエンティティ認識では完全な微調整が好ましい。 タスクと言語アダプタを組み合わせたモジュラーアプローチに関する以前の研究から着想を得て,非構造化テキストでトレーニングされたPEFTモジュールの追加の影響を評価し,このアプローチが有益でないことを発見した。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• A Parameter-efficient Language Extension Framework for Multilingual ASR [25.758826304861948]
  本稿では,言語拡張のためのアーキテクチャベースのフレームワークを提案する。 パラメータ効率が良く、新しい言語に適応するためにアドオンモジュールを漸進的に組み込むように設計されている。 幅広い低パフォーマンスデータサイズを持つ5つの新しい言語で実験を行う。
  論文  参考訳（メタデータ） (2024-06-10T14:46:07Z)
• Unlocking Parameter-Efficient Fine-Tuning for Low-Resource Language Translation [3.558269947618352]
  SacreBLEUスコアを用いて,合計15のアーキテクチャを用いた8 PEFT法の性能評価を行った。 その結果、6つのPEFTアーキテクチャがドメイン内テストとドメイン外テストの両方のベースラインを上回っていることがわかった。 Houlsby+Inversionアダプタは、PEFT法の有効性を証明し、全体として最高の性能を持つ。
  論文  参考訳（メタデータ） (2024-04-05T16:42:28Z)
• Efficient Adapter Finetuning for Tail Languages in Streaming Multilingual ASR [44.949146169903074]
  不均一な性質と異なる言語の不均衡なデータが、性能劣化を引き起こす可能性がある。 提案手法は,単語誤り率を平均12.2%,ローカライズで最大37.5%削減する。
  論文  参考訳（メタデータ） (2024-01-17T06:01:16Z)
• Few-shot learning for automated content analysis: Efficient coding of arguments and claims in the debate on arms deliveries to Ukraine [0.9576975587953563]
  トランスフォーマーニューラルネットワークに基づく事前学習言語モデル(PLM)は、通信科学における自動コンテンツ分析を改善する大きな機会を提供する。 これまでの3つの特徴は、NLP研究における英語モデルの優位性、必要な計算資源、微調整 PLM の訓練データ作成に必要な労力など、適用分野における手法の普及を妨げている。 我々は、われわれのアプローチを、コミュニケーション科学の現実的なユースケースで試し、主張や議論を自動的に検出し、ドイツによるウクライナへの武器の配達に関する議論におけるスタンスと合わせて検証する。
  論文  参考訳（メタデータ） (2023-12-28T11:39:08Z)
• Language and Task Arithmetic with Parameter-Efficient Layers for Zero-Shot Summarization [126.96113831681338]
  本稿では,言語やタスク特化パラメータを構成することで,ゼロショットの言語間移動を改善することを提案する。 本手法は,言語とタスクPEFTモジュールを要素演算により構成し,ラベルなしデータと英語ラベル付きデータを活用する。
  論文  参考訳（メタデータ） (2023-11-15T20:04:58Z)
• Comparison of Pre-trained Language Models for Turkish Address Parsing [0.0]
  トルコの地図データに着目し,多言語とトルコを基盤とするBERT, DistilBERT, ELECTRA, RoBERTaを徹底的に評価する。 また,一層ファインチューニングの標準的なアプローチに加えて,細調整BERTのためのMultiLayer Perceptron (MLP)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T12:09:43Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
  本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。 モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
  論文  参考訳（メタデータ） (2022-04-06T06:29:52Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。