論文の概要: BEIR-PL: Zero Shot Information Retrieval Benchmark for the Polish Language

• arxiv url: http://arxiv.org/abs/2305.19840v1
• Date: Wed, 31 May 2023 13:29:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 16:31:39.363332
• Title: BEIR-PL: Zero Shot Information Retrieval Benchmark for the Polish Language
• Title（参考訳）: BEIR-PL:ポーランド語のゼロショット情報検索ベンチマーク
• Authors: Konrad Wojtasik, Vadim Shishkin, Kacper Wo{\l}owiec, Arkadiusz Janz, Maciej Piasecki
• Abstract要約: この研究はmMARCOとMr.TyDiのデータセットにインスパイアされ、アクセス可能なすべてのオープンIRデータセットをポーランド語に翻訳した。 13のデータセットからなる新しいベンチマークであるBEIR-PLベンチマークを導入しました。 新たに導入されたBEIR-PLベンチマークにおいて,多数のIRモデルの評価と比較を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The BEIR dataset is a large, heterogeneous benchmark for Information Retrieval (IR) in zero-shot settings, garnering considerable attention within the research community. However, BEIR and analogous datasets are predominantly restricted to the English language. Our objective is to establish extensive large-scale resources for IR in the Polish language, thereby advancing the research in this NLP area. In this work, inspired by mMARCO and Mr.~TyDi datasets, we translated all accessible open IR datasets into Polish, and we introduced the BEIR-PL benchmark -- a new benchmark which comprises 13 datasets, facilitating further development, training and evaluation of modern Polish language models for IR tasks. We executed an evaluation and comparison of numerous IR models on the newly introduced BEIR-PL benchmark. Furthermore, we publish pre-trained open IR models for Polish language,d marking a pioneering development in this field. Additionally, the evaluation revealed that BM25 achieved significantly lower scores for Polish than for English, which can be attributed to high inflection and intricate morphological structure of the Polish language. Finally, we trained various re-ranking models to enhance the BM25 retrieval, and we compared their performance to identify their unique characteristic features. To ensure accurate model comparisons, it is necessary to scrutinise individual results rather than to average across the entire benchmark. Thus, we thoroughly analysed the outcomes of IR models in relation to each individual data subset encompassed by the BEIR benchmark. The benchmark data is available at URL {\bf https://huggingface.co/clarin-knext}.
• Abstract（参考訳）: BEIRデータセットは、ゼロショット設定でのInformation Retrieval(IR)の大規模で異質なベンチマークであり、研究コミュニティ内でかなりの注目を集めている。 しかし、BEIRと類似のデータセットは主に英語に限られている。 我々の目標は、ポーランド語でIRのための大規模な資源を確立することであり、このNLP領域の研究を進めることである。 この作品では、mMARCOとMr.にインスパイアされた。 ~tydiデータセット、すべてのアクセス可能なオープンirデータセットをポーランド語に翻訳し、13のデータセットからなる新しいベンチマークであるbeir-plベンチマークを導入し、irタスクのための現代的なポーランド語モデルのさらなる開発、トレーニング、評価を支援しました。 新たに導入されたBEIR-PLベンチマークにおいて,多数のIRモデルの評価と比較を行った。 さらに,ポーランド語用に事前学習したオープンirモデルを公開し,この分野の先駆的発展を示す。 さらに、BM25はポーランド語よりもポーランド語のスコアがかなり低く、ポーランド語の高い屈折率と複雑な形態構造に起因することが判明した。 最後に,BM25検索の精度を高めるため,様々なモデルの再評価を行い,その特性を比較検討した。 正確なモデル比較を確保するためには、ベンチマーク全体の平均よりも個々の結果を精査する必要がある。 そこで我々は,BEIRベンチマークを対象とする各データサブセットについて,IRモデルの結果を徹底的に分析した。 ベンチマークデータは url {\bf https://huggingface.co/clarin-knext} で入手できる。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• PIRB: A Comprehensive Benchmark of Polish Dense and Hybrid Text Retrieval Methods [0.552480439325792]
  ポーランド語情報検索ベンチマーク(PIRB, Polish Information Retrieval Benchmark)は、ポーランド語のための41のテキスト情報検索タスクを含む総合的な評価フレームワークである。 このベンチマークには、既存のデータセットに加えて、医学、法律、ビジネス、物理学、言語学など、さまざまなトピックをカバーする、10の新しい未発表データセットが含まれている。 我々は,20以上の密度・疎度検索モデルの評価を行い,そのベースラインモデルについて検討した。
  論文  参考訳（メタデータ） (2024-02-20T19:53:36Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)
• Retrieval-based Disentangled Representation Learning with Natural Language Supervision [61.75109410513864]
  本稿では,VDR(Vocabulary Disentangled Retrieval)を提案する。 提案手法では,両エンコーダモデルを用いて語彙空間におけるデータと自然言語の両方を表現する。
  論文  参考訳（メタデータ） (2022-12-15T10:20:42Z)
• This is the way: designing and compiling LEPISZCZE, a comprehensive NLP benchmark for Polish [5.8090623549313944]
  ポーランドNLPの新しい総合ベンチマークであるLEPISZCZEを紹介する。 ポーランドのベンチマークから5つのデータセットを使用し、8つの新しいデータセットを追加しています。 我々はポーランド語のためのベンチマークを作成しながら学んだ洞察と経験を提供し、他の低リソース言語のための同様のベンチマークを設計する青写真を提供する。
  論文  参考訳（メタデータ） (2022-11-23T16:51:09Z)
• Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
  ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
  論文  参考訳（メタデータ） (2022-05-18T09:17:14Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Unreasonable Effectiveness of Rule-Based Heuristics in Solving Russian SuperGLUE Tasks [2.6189995284654737]
  SuperGLUEのようなリーダーボードは、NLPの活発な開発のための重要なインセンティブと見なされている。 テストデータセットは浅瀬に対して脆弱であることを示す。 最も簡単な説明として)RSGリーダーボードにおけるSOTAモデルのパフォーマンスの大部分は、これらの浅瀬を利用するためである可能性が高い。
  論文  参考訳（メタデータ） (2021-05-03T22:19:22Z)
• BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models [41.45240621979654]
  情報検索のための異種ベンチマークであるBEIRを紹介する。 ゼロショット評価設定における9つの最先端の検索モデルの有効性を検討する。 Dense-Retrievalモデルは計算効率が良いが、他のアプローチでは性能が劣ることが多い。
  論文  参考訳（メタデータ） (2021-04-17T23:29:55Z)
• Ranking Creative Language Characteristics in Small Data Scenarios [52.00161818003478]
  DirectRankerを適用して、小さなデータでクリエイティブ言語をランク付けするための、新しいディープモデルを提供します。 スパーストレーニングデータを用いた実験により、標準的なニューラルネットワークのランク付け手法の性能は小さなデータセットで崩壊するが、DirectRankerは依然として有効であることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T18:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。