論文の概要: Bayesian multilingual topic model for zero-shot cross-lingual topic
identification
- arxiv url: http://arxiv.org/abs/2007.01359v2
- Date: Wed, 2 Dec 2020 12:46:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 14:20:10.297584
- Title: Bayesian multilingual topic model for zero-shot cross-lingual topic
identification
- Title(参考訳): ゼロショット多言語トピック識別のためのベイズ多言語トピックモデル
- Authors: Santosh Kesiraju, Sangeet Sagar, Ond\v{r}ej Glembek, Luk\'a\v{s}
Burget, Suryakanth V Gangashetty
- Abstract要約: 本稿では,言語に依存しない文書埋め込み学習のためのベイズ多言語トピックモデルを提案する。
5言語EuroparlとReuters(MLDoc)コーパスの実験により、提案モデルは多言語単語の埋め込みやBiLSTM文エンコーダに基づくシステムより優れていることが示された。
- 参考スコア(独自算出の注目度): 5.160190487722263
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a Bayesian multilingual topic model for learning
language-independent document embeddings. Our model learns to represent the
documents in the form of Gaussian distributions, thereby encoding the
uncertainty in its covariance. We propagate the learned uncertainties through
linear classifiers for zero-shot cross-lingual topic identification. Our
experiments on 5 language Europarl and Reuters (MLDoc) corpora show that the
proposed model outperforms multi-lingual word embedding and BiLSTM sentence
encoder based systems with significant margins in the majority of the transfer
directions. Moreover, our system trained under a single day on a single GPU
with much lower amounts of data performs competitively as compared to the
state-of-the-art universal BiLSTM sentence encoder trained on 93 languages. Our
experimental analysis shows that the amount of parallel data improves the
overall performance of embeddings. Nonetheless, exploiting the uncertainties is
always beneficial.
- Abstract(参考訳): 本稿では,言語に依存しない文書埋め込み学習のためのベイズ多言語トピックモデルを提案する。
本モデルはガウス分布の形で文書を表現することを学習し,共分散における不確かさを符号化する。
ゼロショット言語間話題識別のための線形分類器を用いて学習した不確かさを伝搬する。
5言語ユーロパールとロイター(mldoc)コーポラを用いた実験により,提案手法が多言語単語埋め込みとbilstm文エンコーダを上回っており,移動方向のほとんどが有意なマージンを示した。
さらに,本システムは,93言語でトレーニングされた最新のユニバーサルbilstm文エンコーダに比べて,データ量がはるかに少ない単一のgpu上で1日でトレーニングされる。
実験の結果,並列データ量が組込み全体の性能を向上させることがわかった。
それでも、不確実性の利用は常に有益である。
関連論文リスト
- Align after Pre-train: Improving Multilingual Generative Models with
Cross-lingual Alignment [46.56459977441824]
本稿では,一対の翻訳文を利用した簡易かつ効果的なアライメントフレームワークを提案する。
多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。
実験結果から, 事前学習トークンの 0.1 文節未満であっても, アライメントフレームワークは生成モデルの言語横断能力を大幅に向上させることが示された。
論文 参考訳(メタデータ) (2023-11-14T11:24:08Z) - T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text
Classification [50.675552118811]
言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。
本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
論文 参考訳(メタデータ) (2023-06-08T07:33:22Z) - Soft Prompt Decoding for Multilingual Dense Retrieval [30.766917713997355]
本稿では,MLIRタスクへの言語間情報検索のための最先端手法の適用により,準最適性能が得られることを示す。
これは多言語コレクションの不均一性と不均衡性に起因する。
KD-SPDはMLIRの新しいソフトプロンプトデコーディング手法で、異なる言語における文書の表現を同じ埋め込み空間に暗黙的に「翻訳」する。
論文 参考訳(メタデータ) (2023-05-15T21:17:17Z) - Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。
大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。
本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
論文 参考訳(メタデータ) (2022-12-14T13:41:49Z) - On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。
教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。
我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
論文 参考訳(メタデータ) (2021-12-21T08:10:27Z) - MultiEURLEX -- A multi-lingual and multi-label legal document
classification dataset for zero-shot cross-lingual transfer [13.24356999779404]
法律文書のトピック分類のための多言語データセットであるMulti-EURLEXを紹介する。
データセットは、正式に23言語に翻訳された65kの欧州連合(EU)の法律で構成され、EUROVOC分類の複数のラベルが注釈付けされている。
そこで、ある言語(ソース)の注釈付きトレーニング文書を利用して、別の言語(ターゲット)のドキュメントを分類します。
論文 参考訳(メタデータ) (2021-09-02T12:52:55Z) - Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。
我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。
ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
論文 参考訳(メタデータ) (2021-07-23T17:11:27Z) - Learning Contextualised Cross-lingual Word Embeddings and Alignments for
Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。
本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
論文 参考訳(メタデータ) (2020-10-27T22:24:01Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳(メタデータ) (2020-10-15T18:34:13Z) - Improving Massively Multilingual Neural Machine Translation and
Zero-Shot Translation [81.7786241489002]
ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。
我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。
未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
論文 参考訳(メタデータ) (2020-04-24T17:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。