論文の概要: MEXMA: Token-level objectives improve sentence representations
- arxiv url: http://arxiv.org/abs/2409.12737v1
- Date: Thu, 19 Sep 2024 13:00:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 13:34:43.323377
- Title: MEXMA: Token-level objectives improve sentence representations
- Title（参考訳）: MEXMA:token-level objectives improve sentence representations
- Authors: João Maria Janeiro, Benjamin Piwowarski, Patrick Gallinari, Loïc Barrault,
- Abstract要約: MEXMAは、文レベルとトークンレベルの両方の目的を統合する新しいアプローチである。
ある言語の文表現は、他の言語のマスキングトークンを予測するために使用され、文表現と全てのトークンがエンコーダを直接更新する。
トークンレベルの目的を付加することで,複数のタスク間の文表現品質が大幅に向上することを示す。
- 参考スコア（独自算出の注目度）: 25.110141554427514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current pre-trained cross-lingual sentence encoders approaches use sentence-level objectives only. This can lead to loss of information, especially for tokens, which then degrades the sentence representation. We propose MEXMA, a novel approach that integrates both sentence-level and token-level objectives. The sentence representation in one language is used to predict masked tokens in another language, with both the sentence representation and all tokens directly updating the encoder. We show that adding token-level objectives greatly improves the sentence representation quality across several tasks. Our approach outperforms current pre-trained cross-lingual sentence encoders on bi-text mining as well as several downstream tasks. We also analyse the information encoded in our tokens, and how the sentence representation is built from them.
- Abstract（参考訳）: 現在の訓練済みの言語間文エンコーダは、文レベルの目的のみを使用する。
これにより、特にトークンの情報が失われ、文表現が劣化する可能性がある。
文レベルとトークンレベルの両方の目的を統合する新しいアプローチであるMEXMAを提案する。
ある言語の文表現は、他の言語のマスキングトークンを予測するために使用され、文表現と全てのトークンがエンコーダを直接更新する。
トークンレベルの目的を付加することで,複数のタスク間の文表現品質が大幅に向上することを示す。
提案手法は、バイテキストマイニングや下流タスクにおいて、現在トレーニング済みの言語間文エンコーダよりも優れています。
また、トークンにエンコードされた情報と、それらから文表現を構築する方法について分析する。
関連論文リスト
- Learning with Unmasked Tokens Drives Stronger Vision Learners [39.752789949834536]
マスク付き画像モデリング(MIM)は,自己指導型学習戦略の先駆けとなる。
トレーニングプロセスに不正トークンを明示的に組み込むことでMIMを改善する。
ImageNet-1Kでは、VT-Bで84.2%の精度を実現し、0.6%のゲインを得た。
論文 参考訳（メタデータ） (2023-10-20T15:42:47Z) - Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。
そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。
我々の手法は文の埋め込みを大幅に改善できる。
論文 参考訳（メタデータ） (2023-05-16T03:53:30Z) - Leveraging per Image-Token Consistency for Vision-Language Pre-training [52.825150269820696]
クロスモーダルマスク言語モデリング(CMLM)は視覚言語事前学習には不十分である。
視覚言語事前学習のためのEPIC(Leveraging Per Image-Token Consistency)を提案する。
提案手法は, 事前学習法と容易に組み合わせることができる。
論文 参考訳（メタデータ） (2022-11-20T12:10:53Z) - Sentence Representation Learning with Generative Objective rather than
Contrastive Objective [86.01683892956144]
句再構成に基づく新たな自己教師型学習目標を提案する。
我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
論文 参考訳（メタデータ） (2022-10-16T07:47:46Z) - Training Effective Neural Sentence Encoders from Automatically Mined
Paraphrases [0.0]
そこで本稿では,手動でラベル付けしたデータを用いずに,効果的な言語固有文エンコーダを訓練する手法を提案する。
本研究の目的は,文の一致したバイリンガルテキストコーパスからパラフレーズペアのデータセットを自動構築することである。
文エンコーダは1枚のグラフィックカードで1日以内で訓練でき、多種多様な文レベルのタスクで高い性能を達成できる。
論文 参考訳（メタデータ） (2022-07-26T09:08:56Z) - Fast End-to-End Speech Recognition via a Non-Autoregressive Model and
Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。
モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
論文 参考訳（メタデータ） (2021-02-15T15:18:59Z) - Narrative Incoherence Detection [76.43894977558811]
本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。
複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
論文 参考訳（メタデータ） (2020-12-21T07:18:08Z) - Token-level Adaptive Training for Neural Machine Translation [84.69646428587548]
異なるトークンが異なる周波数で現れるため、自然言語にはトークンの不均衡現象が存在する。
バニラNMTモデルは、通常、異なる周波数のターゲットトークンに対して、自明な等重の目的を採用する。
低周波トークンは、無視された後に翻訳品質に影響を与える重要な意味情報を運ぶことができる。
論文 参考訳（メタデータ） (2020-10-09T05:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。