論文の概要: Multilingual Sentence-Level Semantic Search using Meta-Distillation Learning

• arxiv url: http://arxiv.org/abs/2309.08185v1
• Date: Fri, 15 Sep 2023 06:22:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 15:44:26.216262
• Title: Multilingual Sentence-Level Semantic Search using Meta-Distillation Learning
• Title（参考訳）: メタ蒸留学習を用いた多言語文レベル意味探索
• Authors: Meryem M'hamdi, Jonathan May, Franck Dernoncourt, Trung Bui, and Seunghyun Yoon
• Abstract要約: 多言語セマンティックサーチは モノリンガルやバイリンガルよりも 探究も困難です 我々は,MAML-Align,特に低リソースシナリオに対するアライメントアプローチを提案する。 以上の結果から, メタ蒸留法によりMAMLの利得が向上し, ナイーブ微調整法よりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 73.69884850632431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual semantic search is the task of retrieving relevant contents to a query expressed in different language combinations. This requires a better semantic understanding of the user's intent and its contextual meaning. Multilingual semantic search is less explored and more challenging than its monolingual or bilingual counterparts, due to the lack of multilingual parallel resources for this task and the need to circumvent "language bias". In this work, we propose an alignment approach: MAML-Align, specifically for low-resource scenarios. Our approach leverages meta-distillation learning based on MAML, an optimization-based Model-Agnostic Meta-Learner. MAML-Align distills knowledge from a Teacher meta-transfer model T-MAML, specialized in transferring from monolingual to bilingual semantic search, to a Student model S-MAML, which meta-transfers from bilingual to multilingual semantic search. To the best of our knowledge, we are the first to extend meta-distillation to a multilingual search application. Our empirical results show that on top of a strong baseline based on sentence transformers, our meta-distillation approach boosts the gains provided by MAML and significantly outperforms naive fine-tuning methods. Furthermore, multilingual meta-distillation learning improves generalization even to unseen languages.
• Abstract（参考訳）: 多言語意味探索は、異なる言語の組み合わせで表現されたクエリに関連コンテンツを取得するタスクである。 これはユーザの意図とその文脈的意味をよりよく理解する必要がある。 多言語セマンティックサーチは、このタスクに多言語並列リソースが欠如しており、「言語バイアス」を回避する必要性があるため、モノリンガルやバイリンガルよりも探究が困難である。 本研究では,MAML-Align,特に低リソースシナリオを対象としたアライメント手法を提案する。 本手法は最適化に基づくモデル非依存なメタリーナーであるmamlに基づくメタ蒸留学習を利用する。 MAML-Alignは、単言語からバイリンガルへのセマンティックサーチを専門とする教師メタトランスファーモデルT-MAMLから、二言語から多言語セマンティックサーチへメタトランスファーする学生モデルS-MAMLへの知識を蒸留する。 我々の知る限りでは、メタ蒸留を多言語検索アプリケーションに拡張するのは初めてである。 実験の結果, 文トランスフォーマーに基づく強いベースラインに加えて, メタ蒸留法がmamlによる利得を増加させ, 有意な微調整法を著しく上回ることがわかった。 さらに,多言語メタ蒸留学習は,未知言語においても一般化が向上する。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• MINERS: Multilingual Language Models as Semantic Retrievers [23.686762008696547]
  本稿では,意味検索タスクにおける多言語言語モデルの有効性を評価するためのベンチマークであるMINERSを紹介する。 我々は,200以上の多言語にわたるサンプルの検索において,LMの堅牢性を評価する包括的なフレームワークを構築した。 以上の結果から,意味論的に類似した埋め込みを検索することで,最先端のアプローチと競合する性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-06-11T16:26:18Z)
• A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias [5.104497013562654]
  本稿では,MLLMの進化,鍵技術,多言語能力について概説する。 我々は、MLLMのトレーニングや下流タスクに適した多言語データセットに広く利用されている多言語コーパスについて検討する。 本稿では,MLLMのカテゴリと評価指標を含むバイアスについて論じ,既存のデバイアス手法を要約する。
  論文  参考訳（メタデータ） (2024-04-01T05:13:56Z)
• MetaXLR -- Mixed Language Meta Representation Transformation for Low-resource Cross-lingual Learning based on Multi-Armed Bandit [0.0]
  データ駆動方式で選択した複数のソース言語を利用する拡張アプローチを提案する。 我々は,同じ量のデータを使用しながら,非常に低リソース言語に対するNERタスクにおける技術結果の状態を達成した。
  論文  参考訳（メタデータ） (2023-05-31T18:22:33Z)
• LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation [94.33019040320507]
  マルチモーダル機械翻訳(MMT)は、視覚的特徴を持つテキストのみの翻訳を強化することに焦点を当てている。 最近の進歩は、各言語ペアごとに別々のモデルをトレーニングすることに苦慮している。 7つの言語をカバーする2つのMultilingual MMTベンチマークデータセットを確立することで,Multilingual MMTタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-19T12:21:39Z)
• X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering [55.57776147848929]
  自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。 我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。 提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
  論文  参考訳（メタデータ） (2021-04-20T00:13:35Z)
• MetaXL: Meta Representation Transformation for Low-resource Cross-lingual Learning [91.5426763812547]
  言語間移動学習は低リソース言語のための機能的NLPシステムを構築するための最も効果的な方法の1つである。 MetaXLは、メタラーニングベースのフレームワークで、表現を補助言語からターゲット言語にジャッジに変換することを学ぶ。
  論文  参考訳（メタデータ） (2021-04-16T06:15:52Z)
• DICT-MLM: Improved Multilingual Pre-Training using Bilingual Dictionaries [8.83363871195679]
  主要な言語学習目的としてのマスケプド・モデリング(MLM)の目的。 DICT-MLMは、オリジナルのマスキングされた単語だけでなく、言語間の同義語も予測できるようにモデルにインセンティブを与える。 30以上の言語にまたがる複数の下流タスクに関する実証分析により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-10-23T17:53:11Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。