論文の概要: Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval

• arxiv url: http://arxiv.org/abs/2108.08787v1
• Date: Thu, 19 Aug 2021 16:53:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-20 14:26:10.295428
• Title: Mr. TyDi: A Multi-lingual Benchmark for Dense Retrieval
• Title（参考訳）: Mr. TyDi:Dense Retrievalのための多言語ベンチマーク
• Authors: Xinyu Zhang, Xueguang Ma, Peng Shi, and Jimmy Lin
• Abstract要約: Mr. TyDiは、11の類型的多様言語における単言語検索のためのベンチマークデータセットである。 このリソースの目的は、非英語言語における高密度検索技術の研究を促進することである。
• 参考スコア（独自算出の注目度）: 51.004601358498135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Mr. TyDi, a multi-lingual benchmark dataset for mono-lingual retrieval in eleven typologically diverse languages, designed to evaluate ranking with learned dense representations. The goal of this resource is to spur research in dense retrieval techniques in non-English languages, motivated by recent observations that existing techniques for representation learning perform poorly when applied to out-of-distribution data. As a starting point, we provide zero-shot baselines for this new dataset based on a multi-lingual adaptation of DPR that we call "mDPR". Experiments show that although the effectiveness of mDPR is much lower than BM25, dense representations nevertheless appear to provide valuable relevance signals, improving BM25 results in sparse-dense hybrids. In addition to analyses of our results, we also discuss future challenges and present a research agenda in multi-lingual dense retrieval. Mr. TyDi can be downloaded at https://github.com/castorini/mr.tydi.
• Abstract（参考訳）: 本稿では,11種類の言語を対象とした単言語検索のための多言語ベンチマークデータセットであるmr. tydiを提案する。 このリソースの目的は、非英語言語における密集検索技術の研究を加速させることであり、既存の表現学習技術がアウト・オブ・ディストリビューションデータに適用された場合、性能が低下するという最近の観測に動機付けられている。 出発点として、我々は"mDPR"と呼ぶDPRの多言語適応に基づいて、この新しいデータセットに対してゼロショットベースラインを提供する。 実験の結果、mDPRの有効性はBM25よりもはるかに低いが、高密度な表現は貴重な関連信号を与え、BM25の結果は疎密度ハイブリッドであることがわかった。 結果の分析に加えて,今後の課題についても論じ,多言語密集検索における研究課題を提示する。 Mr. TyDiはhttps://github.com/castorini/mr.tydiでダウンロードできる。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• What are the limits of cross-lingual dense passage retrieval for low-resource languages? [23.88853455670863]
  極低リソース言語に対するマルチ言語パスレトリバー(mDPR)の機能解析を行う。 mDPRは26言語にわたるマルチリンガルなオープンQAベンチマークで成功し、そのうち9つはトレーニング中に見つからなかった。 我々はmDPRが不十分な2つの非常に低リソース言語(AmharicとKhmer)に焦点を当てている。
  論文  参考訳（メタデータ） (2024-08-21T18:51:46Z)
• Cross-lingual Contextualized Phrase Retrieval [63.80154430930898]
  そこで本研究では,言語間関係の単語検索を多義的に行うタスクの定式化を提案する。 我々は、コントラスト学習を用いて、言語間コンテクスト対応句検索(CCPR)を訓練する。 フレーズ検索タスクでは、CCPRはベースラインをかなり上回り、少なくとも13ポイント高いトップ1の精度を達成する。
  論文  参考訳（メタデータ） (2024-03-25T14:46:51Z)
• Unsupervised Multilingual Dense Retrieval via Generative Pseudo Labeling [32.10366004426449]
  本稿では,教師なしの高密度多言語レトリバーUMRについて紹介する。 本稿では,多言語高密度検索器の性能を反復的に向上する2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-06T07:49:06Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Matching Tweets With Applicable Fact-Checks Across Languages [27.762055254009017]
  ソーシャルメディア投稿(ツイート)のクレームに対する既存のファクトチェックを自動的に見つけることに重点を置いています。 モノリンガル(英語のみ)、マルチリンガル(スペイン語、ポルトガル語)、クロスリンガル(ヒンディー語-英語)の設定において、分類と検索の両方の実験を行う。 4つの言語対における「マッチ」分類(平均精度93%)の有望な結果を示す。
  論文  参考訳（メタデータ） (2022-02-14T23:33:02Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。