論文の概要: Cross-lingual Information Retrieval with BERT

• arxiv url: http://arxiv.org/abs/2004.13005v1
• Date: Fri, 24 Apr 2020 23:32:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 02:39:22.268185
• Title: Cross-lingual Information Retrieval with BERT
• Title（参考訳）: BERTを用いた言語間情報検索
• Authors: Zhuolin Jiang, Amro El-Jaroudi, William Hartmann, Damianos Karakos, Lingjun Zhao
• Abstract要約: 本稿では、人気のある双方向言語モデルBERTを用いて、英語クエリと外国語文書の関係をモデル化し、学習する。 BERTに基づく深部関係マッチングモデルを導入し,教師の弱い事前学習多言語BERTモデルを微調整して訓練する。 短い英語クエリに対するリトアニア語文書の検索実験の結果、我々のモデルは有効であり、競争ベースラインのアプローチよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 8.052497255948046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple neural language models have been developed recently, e.g., BERT and XLNet, and achieved impressive results in various NLP tasks including sentence classification, question answering and document ranking. In this paper, we explore the use of the popular bidirectional language model, BERT, to model and learn the relevance between English queries and foreign-language documents in the task of cross-lingual information retrieval. A deep relevance matching model based on BERT is introduced and trained by finetuning a pretrained multilingual BERT model with weak supervision, using home-made CLIR training data derived from parallel corpora. Experimental results of the retrieval of Lithuanian documents against short English queries show that our model is effective and outperforms the competitive baseline approaches.
• Abstract（参考訳）: 最近、BERTやXLNetといった複数のニューラルネットワークモデルが開発され、文分類、質問応答、文書ランキングなど、様々なNLPタスクにおいて顕著な成果を上げている。 本稿では,言語間情報検索のタスクにおいて,一般的な双方向言語モデルであるBERTを用いて,英語クエリと外国語文書の関係をモデル化し,学習する。 並列コーパスから派生した自家製のCLIRトレーニングデータを用いて,事前学習した多言語BERTモデルを弱監督下で微調整することにより,BERTに基づく深い関係マッチングモデルを導入・訓練する。 リトアニア語文書を短文クエリに対して検索した結果,本モデルの有効性が示され,競合ベースラインアプローチよりも優れていた。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• Comparison of Pre-trained Language Models for Turkish Address Parsing [0.0]
  トルコの地図データに着目し,多言語とトルコを基盤とするBERT, DistilBERT, ELECTRA, RoBERTaを徹底的に評価する。 また,一層ファインチューニングの標準的なアプローチに加えて,細調整BERTのためのMultiLayer Perceptron (MLP)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T12:09:43Z)
• Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
  マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。 モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
  論文  参考訳（メタデータ） (2023-02-03T09:54:27Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives [0.0]
  BERTは、大きな言語モデルで伝達学習を可能にすることで、NLP分野に革命をもたらした。 本稿では、BERT出力層が提供する異なる埋め込みと、多言語モデルの代わりに言語固有の使用について、よりよく対処する方法について研究する。
  論文  参考訳（メタデータ） (2022-01-10T15:05:05Z)
• Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
  BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。 本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。 この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
  論文  参考訳（メタデータ） (2021-11-16T15:18:01Z)
• Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
  対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。 非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。 本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-03T03:03:19Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
  Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。 多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
  論文  参考訳（メタデータ） (2020-04-20T11:13:16Z)
• What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
  本稿では,言語固有のBERTモデルにおける技術の現状について述べる。 本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
  論文  参考訳（メタデータ） (2020-03-05T20:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。