論文の概要: MoCE: Adaptive Mixture of Contextualization Experts for Byte-based Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2411.01474v1
• Date: Sun, 03 Nov 2024 08:15:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:48:02.239680
• Title: MoCE: Adaptive Mixture of Contextualization Experts for Byte-based Neural Machine Translation
• Title（参考訳）: MoCE: バイト型ニューラルネットワーク翻訳のための文脈化エキスパートの適応混合
• Authors: Langlin Huang, Mengyu Bu, Yang Feng,
• Abstract要約: バイトベースの機械翻訳システムは、多言語設定において大きな可能性を秘めている。 各文字を特定のバイトにマッピングするUnicodeエンコーディングは、新しい言語においても未知の単語の出現を排除している。 局所的な文脈化は、初期意味論をトークンに割り当て、文理解を改善するのに有効であることが証明されている。 本稿では,アダプティブ・マルチスケール・ハイド・アテンション(Ada-MSHA)を提案する。
• 参考スコア（独自算出の注目度）: 13.70446799743065
• License:
• Abstract: Byte-based machine translation systems have shown significant potential in massively multilingual settings. Unicode encoding, which maps each character to specific byte(s), eliminates the emergence of unknown words, even in new languages, enabling broad language scalability. However, byte-level tokenization results in sequences that are hard to interpret due to limited semantic information per byte. Local contextualization has proven effective in assigning initial semantics to tokens, improving sentence comprehension. Nevertheless, variations in encoding rules across languages necessitate an adaptive approach for effective contextualization. To this end, we propose Adaptive MultiScale-Headed Attention (Ada-MSHA), adaptively selecting and mixing attention heads, which are treated as contextualization experts. This enhances the flexibility of contextualization scales and improves the potential to discover a better strategy than previous methods. Experiment results show that our method outperforms existing methods without extensive manual adjustment of hyper-parameters and surpasses subword-based models with fewer parameters in Ted-59 dataset. Our code is available at https://github.com/ictnlp/MoCE.
• Abstract（参考訳）: バイトベースの機械翻訳システムは、多言語設定において大きな可能性を秘めている。 Unicodeエンコーディングは、各文字を特定のバイトにマッピングすることで、新しい言語でも未知の単語の出現を排除し、幅広い言語のスケーラビリティを実現する。 しかし、バイトレベルのトークン化は、バイト単位のセマンティック情報に制限があるため、解釈が難しいシーケンスをもたらす。 局所的な文脈化は、初期意味論をトークンに割り当て、文理解を改善するのに有効であることが証明されている。 それでも、言語間の規則の符号化のバリエーションは、効果的な文脈化のための適応的なアプローチを必要とする。 そこで本稿では,アダプティブ・マルチスケール・ハイド・アテンション(Ada-MSHA)を提案する。 これにより、文脈化スケールの柔軟性が向上し、従来の方法よりも優れた戦略を見つける可能性が改善される。 実験の結果,提案手法はハイパーパラメータの広範囲な手作業による調整を行わずに既存の手法よりも優れており,Ted-59データセットのパラメータが少ないサブワードベースモデルを上回っていることがわかった。 私たちのコードはhttps://github.com/ictnlp/MoCE.comから入手可能です。

関連論文リスト

• LANDeRMT: Detecting and Routing Language-Aware Neurons for Selectively Finetuning LLMs to Machine Translation [43.26446958873554]
  大規模言語モデル(LLM)は,バイリンガルの監督が限られているにもかかわらず,多言語翻訳において有望な結果を示している。 大規模言語モデル(LLM)の最近の進歩は,バイリンガルの監督が限定された場合でも,多言語翻訳において有望な結果を示している。 LandeRMT は LLM を textbfMachine textbfTranslation に選択的に微調整するフレームワークである。
  論文  参考訳（メタデータ） (2024-09-29T02:39:42Z)
• MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
  マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。 適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:59:21Z)
• Integrating Multi-scale Contextualized Information for Byte-based Neural Machine Translation [14.826948179996695]
  サブワードトークン化はニューラル機械翻訳(NMT)モデルにおける語彙構築の一般的な方法である。 隠れ状態次元の異なる様々なスケールの文脈情報を学習するマルチスケールコンテキスト化(MSC)手法を提案する。 実験により、MSCはサブワードベースおよび他のバイトベースの手法を多言語およびドメイン外のシナリオで大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-05-29T17:19:04Z)
• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• Local Byte Fusion for Neural Machine Translation [19.16966721276286]
  サブワードトークン化スキームは、現在のNLPモデルで使用される主要なテクニックである。 バイトベースのメソッド、すなわちバイトシーケンスへのトークン化は代替手段である。 多言語翻訳、ゼロショット交叉変換、ドメイン適応の実験は、従来のモデルよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-05-23T17:49:02Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP [0.0]
  本稿では,構文の変更を行うテキスト拡張手法の3つのカテゴリについて検討する。 音声のタグ付けや依存性解析,セマンティックロールのラベル付けなどにおいて,多種多様な言語ファミリに対して比較を行った。 以上の結果から,mBERTに基づくベースラインの強化により,より高機能化が可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-18T10:52:48Z)
• Evaluating the Morphosyntactic Well-formedness of Generated Texts [88.20502652494521]
  L'AMBRE – テキストのモルフォシンタク的整形性を評価する指標を提案する。 形態的に豊かな言語に翻訳するシステムのダイアクロニックスタディを通じて,機械翻訳作業におけるメトリックの有効性を示す。
  論文  参考訳（メタデータ） (2021-03-30T18:02:58Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。