論文の概要: Low-Resource Machine Translation through the Lens of Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2406.12564v2
• Date: Fri, 20 Dec 2024 13:43:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:21:58.480404
• Title: Low-Resource Machine Translation through the Lens of Personalized Federated Learning
• Title（参考訳）: 個人化フェデレーション学習用レンズによる低リソース機械翻訳
• Authors: Viktor Moskvoretskii, Nazarii Tupitsa, Chris Biemann, Samuel Horváth, Eduard Gorbunov, Irina Nikishina,
• Abstract要約: 異種データを用いた自然言語処理に適用可能なMeltOptという新しい手法を提案する。 東南アジア語とフィンノ・ウグリ語のデータセットを用いて,低リソース機械翻訳タスクで評価を行った。 分析の結果,対象のデータセットサイズが補助言語間の重み分布に影響を及ぼし,非関連言語が訓練に干渉せず,補助パラメータが最小限に抑えられることがわかった。
• 参考スコア（独自算出の注目度）: 26.436144338377755
• License:
• Abstract: We present a new approach called MeritOpt based on the Personalized Federated Learning algorithm MeritFed that can be applied to Natural Language Tasks with heterogeneous data. We evaluate it on the Low-Resource Machine Translation task, using the datasets of South East Asian and Finno-Ugric languages. In addition to its effectiveness, MeritOpt is also highly interpretable, as it can be applied to track the impact of each language used for training. Our analysis reveals that target dataset size affects weight distribution across auxiliary languages, that unrelated languages do not interfere with the training, and auxiliary optimizer parameters have minimal impact. Our approach is easy to apply with a few lines of code, and we provide scripts for reproducing the experiments at https://github.com/VityaVitalich/MeritOpt.
• Abstract（参考訳）: 不均一なデータを持つ自然言語タスクに適用可能な、パーソナライズされたフェデレーション学習アルゴリズムMeritFedに基づくMeritOptと呼ばれる新しいアプローチを提案する。 東南アジア語とフィンノ・ウグリ語のデータセットを用いて,低リソース機械翻訳タスクで評価を行った。 MeritOptはその有効性に加えて、トレーニングに使用する各言語の影響を追跡するために適用できるため、非常に解釈可能である。 分析の結果,対象のデータセットサイズが補助言語間の重み分布に影響を及ぼし,非関連言語がトレーニングに干渉せず,補助最適化パラメータが最小限の影響を与えることが明らかとなった。 私たちのアプローチは数行のコードで簡単に適用でき、https://github.com/VityaVitalich/MeritOpt.comで実験を再現するためのスクリプトを提供します。

関連論文リスト

• Extending LLMs to New Languages: A Case Study of Llama and Persian Adaptation [36.92567530333872]
  我々は,大言語モデル(LLM)に新しい言語,すなわちペルシア語を追加することを研究する。 我々は単言語ペルシャ語のデータの事前学習を含む多段階的アプローチを採用する。 生成タスクと分類タスクにおいて,各段階でのモデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-12-17T23:18:06Z)
• Efficient Continual Pre-training of LLMs for Low-resource Languages [45.44796295841526]
  大規模コーパスからテキストのサブセットを選択するアルゴリズムを開発した。 さらなる改良を求めて,LLM語彙に含まれるトークンを選択する新しいアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-12-13T16:13:35Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Multilingual Neural Semantic Parsing for Low-Resourced Languages [1.6244541005112747]
  英語,イタリア語,日本語の新しい多言語意味解析データセットを提案する。 本研究では,事前学習したエンコーダを用いた多言語学習がTOPデータセットのベースラインを大幅に上回ることを示す。 英語データのみに基づいて訓練されたセマンティクスは、イタリア語の文に対して44.9%の精度でゼロショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-06-07T09:53:02Z)
• On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
  言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。 実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。 本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-07T01:55:34Z)
• Balancing Training for Multilingual Neural Machine Translation [130.54253367251738]
  多言語機械翻訳(MT)モデルは、複数の言語に翻訳/翻訳することができる。 標準的なプラクティスは、表現力を高めるために、リソースの少ない言語をアップサンプルすることである。 そこで本研究では,データスコアラによるトレーニングデータの重み付けを自動的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T18:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。