論文の概要: Auto-MLM: Improved Contrastive Learning for Self-supervised Multi-lingual Knowledge Retrieval

• arxiv url: http://arxiv.org/abs/2203.16187v1
• Date: Wed, 30 Mar 2022 10:13:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 14:42:42.178409
• Title: Auto-MLM: Improved Contrastive Learning for Self-supervised Multi-lingual Knowledge Retrieval
• Title（参考訳）: Auto-MLM:自己教師型多言語知識検索のためのコントラスト学習の改善
• Authors: Wenshen Xu, Mieradilijiang Maimaiti, Yuanhang Zheng, Xin Tang and Ji Zhang
• Abstract要約: 自己教師型多言語知識検索のためのCLとAuto-MLMを組み合わせた共同学習手法を提案する。 実験の結果,提案手法は, LAZADAサービスコーパスと8言語で利用可能なオープンコーパスの両方において, 従来のSOTA手法よりも一貫して優れていることがわかった。
• 参考スコア（独自算出の注目度）: 7.73633850933515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning (CL) has become a ubiquitous approach for several natural language processing (NLP) downstream tasks, especially for question answering (QA). However, the major challenge, how to efficiently train the knowledge retrieval model in an unsupervised manner, is still unresolved. Recently the commonly used methods are composed of CL and masked language model (MLM). Unexpectedly, MLM ignores the sentence-level training, and CL also neglects extraction of the internal info from the query. To optimize the CL hardly obtain internal information from the original query, we introduce a joint training method by combining CL and Auto-MLM for self-supervised multi-lingual knowledge retrieval. First, we acquire the fixed dimensional sentence vector. Then, mask some words among the original sentences with random strategy. Finally, we generate a new token representation for predicting the masked tokens. Experimental results show that our proposed approach consistently outperforms all the previous SOTA methods on both AliExpress $\&$ LAZADA service corpus and openly available corpora in 8 languages.
• Abstract（参考訳）: コントラスト学習(CL)は、いくつかの自然言語処理(NLP)下流タスク、特に質問応答(QA)において、ユビキタスなアプローチとなっている。 しかし、知識検索モデルを教師なしで効率的に訓練する方法という大きな課題はまだ未解決のままである。 近年一般的に使われている手法はCLとマスキング言語モデル(MLM)である。 MLMは文レベルのトレーニングを無視し、CLはクエリから内部情報の抽出も無視する。 CLを最適化するために,CLとAuto-MLMを組み合わせて,自己教師付き多言語知識検索を行う共同学習手法を提案する。 まず、固定次元の文ベクトルを取得する。 次に、原文中の単語をランダムな戦略でマスクする。 最後に、マスクされたトークンを予測するための新しいトークン表現を生成する。 実験の結果,提案手法は,AliExpress$\&$ LAZADAサービスコーパスと8言語で利用可能なオープンコーパスの両方において,従来のSOTAメソッドよりも一貫して優れていた。

関連論文リスト

• Code-mixed LLM: Improve Large Language Models' Capability to Handle Code-Mixing through Reinforcement Learning from AI Feedback [11.223762031003671]
  コードミキシングは、構文ミスマッチやセマンティックブレンディングなど、日常生活におけるユニークな課題を導入している。 大規模言語モデル(LLM)は、人間の言語を理解するのに前例のない能力を提供することによって、自然言語処理(NLP)の分野に革命をもたらした。 本稿では,人間フィードバック(RLHF)とコード混合機械翻訳タスクの強化学習を通じて,多言語LLMのコードミキシング理解能力を改善することを提案する。
  論文  参考訳（メタデータ） (2024-11-13T22:56:00Z)
• A Simple yet Effective Training-free Prompt-free Approach to Chinese Spelling Correction Based on Large Language Models [39.35525969831397]
  本研究は、中国語スペル訂正(CSC)タスクに大規模言語モデル(LLM)を活用するための、簡単なトレーニングフリーなプロンプトフリーアプローチを提案する。 5つの公開データセットの実験により、我々のアプローチはLLMの性能を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-10-05T04:06:56Z)
• Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in Low-Resource Languages [0.0]
  プロンプティング(prompting)とは、ユーザがタスクの説明と完了したタスクのいくつかの例を PLM にコンテキストとして提供し、PLM に新しい例でタスクを実行するように促す方法である。 提案手法は, 数発プロンプト(prompt), 言語適応微調整(LAFT), ニューラルマシン翻訳(Translate)の3種類である。 翻訳とプロンプトの設定は、選択した低リソース言語に対して、数ショットプロンプトの計算効率とコスト効率のよい方法であることがわかった。
  論文  参考訳（メタデータ） (2024-03-09T21:36:13Z)
• Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
  メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。 別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。 そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:59:49Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Automatic Smart Contract Comment Generation via Large Language Models and In-Context Learning [11.52122354673779]
  本研究では,大規模言語モデル(LLM)と文脈内学習に基づくSCCLLMのアプローチを提案する。 具体的には、デモ選択フェーズにおいて、SCCLLMは歴史的コーパスからトップkコードスニペットを検索する。 コンテキスト内学習フェーズでは、SCCLLMは検索したコードスニペットをデモとして利用する。
  論文  参考訳（メタデータ） (2023-11-17T08:31:09Z)
• Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
  マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。 モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
  論文  参考訳（メタデータ） (2023-02-03T09:54:27Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• Universal Sentence Representation Learning with Conditional Masked Language Model [7.334766841801749]
  文表現を効果的に学習するための条件付きマスク言語モデリング(M)を提案する。 我々の英語CMLMモデルは,SentEvalの最先端性能を実現する。 完全に教師なしの学習方法として、CMLMは幅広い言語やドメインに便利に拡張できます。
  論文  参考訳（メタデータ） (2020-12-28T18:06:37Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。