Fugu-MT 論文翻訳(概要): Building Russian Benchmark for Evaluation of Information Retrieval Models

論文の概要: Building Russian Benchmark for Evaluation of Information Retrieval Models

arxiv url: http://arxiv.org/abs/2504.12879v1
Date: Thu, 17 Apr 2025 12:11:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-18 14:38:06.100057
Title: Building Russian Benchmark for Evaluation of Information Retrieval Models
Title（参考訳）: 情報検索モデル評価のためのロシア語ベンチマークの構築
Authors: Grigory Kovalev, Mikhail Tikhomirov, Evgeny Kozhevnikov, Max Kornilov, Natalia Loukachevitch,
Abstract要約: RusBEIRは、ロシア語における情報検索モデルの評価のためのベンチマークである。適応、翻訳、新しく作成されたデータセットを統合し、語彙モデルとニューラルモデルの比較を可能にする。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We introduce RusBEIR, a comprehensive benchmark designed for zero-shot evaluation of information retrieval (IR) models in the Russian language. Comprising 17 datasets from various domains, it integrates adapted, translated, and newly created datasets, enabling systematic comparison of lexical and neural models. Our study highlights the importance of preprocessing for lexical models in morphologically rich languages and confirms BM25 as a strong baseline for full-document retrieval. Neural models, such as mE5-large and BGE-M3, demonstrate superior performance on most datasets, but face challenges with long-document retrieval due to input size constraints. RusBEIR offers a unified, open-source framework that promotes research in Russian-language information retrieval.
Abstract（参考訳）: 本稿では,ロシア語における情報検索(IR)モデルのゼロショット評価のための総合ベンチマークであるRusBEIRを紹介する。さまざまなドメインから17のデータセットを合成し、適応、翻訳、新しく作成されたデータセットを統合し、語彙モデルとニューラルネットワークモデルの体系的な比較を可能にする。本研究は,形態的にリッチな言語における語彙モデルの事前処理の重要性を強調し,BM25を文書検索の強力なベースラインとして確認する。 mE5-largeやBGE-M3のようなニューラルモデルは、ほとんどのデータセットで優れた性能を示すが、入力サイズ制約による長期文書検索の課題に直面している。 RusBEIRは、ロシア語情報検索の研究を促進する統一されたオープンソースフレームワークを提供する。

関連論文リスト

Advancing Retrieval-Augmented Generation for Persian: Development of Language Models, Comprehensive Benchmarks, and Best Practices for Optimization [0.0]
本研究は,ペルシャ固有のモデルを導入することにより,検索と生成の精度を向上させることを目的とする。 3つのデータセット(一般知識(PQuad)、科学的に専門化されたテキスト、組織報告)を使用して、これらのモデルを評価した。 MatinaSRobertaは以前の埋め込みよりも優れており、データセット間のコンテキスト関連性と検索精度に優れていた。
論文参考訳（メタデータ） (2025-01-08T22:16:40Z)
RoLargeSum: A Large Dialect-Aware Romanian News Dataset for Summary, Headline, and Keyword Generation [2.3577273565334522]
RoLargeSumはルーマニア語のための新しい大規模要約データセットである。ルーマニアとモルドバ共和国の様々な公開ニュースサイトからクロールされた。
論文参考訳（メタデータ） (2024-12-15T21:27:33Z)
The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design [39.80182519545138]
本稿では,ロシア語の埋め込みモデルに関する研究に焦点をあてる。 ru-en-RoSBERTaと呼ばれる新しいロシアの埋め込みモデルとruMTEBベンチマークを導入している。
論文参考訳（メタデータ） (2024-08-22T15:53:23Z)
AutoBencher: Towards Declarative Benchmark Construction [74.54640925146289]
AutoBencherを使って、数学、多言語性、知識、安全性のためのデータセットを作成しています。 AutoBencherのスケーラビリティにより、詳細なカテゴリ知識をテストでき、既存のベンチマークよりも22%のモデルエラー(難易度)を誘発するデータセットを作成することができる。
論文参考訳（メタデータ） (2024-07-11T10:03:47Z)
BEIR-PL: Zero Shot Information Retrieval Benchmark for the Polish Language [4.720913027054481]
この研究はmMARCOとMr.TyDiのデータセットにインスパイアされ、アクセス可能なすべてのオープンIRデータセットをポーランド語に翻訳した。 13のデータセットからなる新しいベンチマークであるBEIR-PLベンチマークを導入しました。新たに導入されたBEIR-PLベンチマークにおいて,多数のIRモデルの評価と比較を行った。
論文参考訳（メタデータ） (2023-05-31T13:29:07Z)
Retrieval-based Disentangled Representation Learning with Natural Language Supervision [61.75109410513864]
本稿では,VDR(Vocabulary Disentangled Retrieval)を提案する。提案手法では,両エンコーダモデルを用いて語彙空間におけるデータと自然言語の両方を表現する。
論文参考訳（メタデータ） (2022-12-15T10:20:42Z)
Building Machine Translation Systems for the Next Thousand Languages [102.24310122155073]
1500以上の言語を対象としたクリーンでWebマイニングされたデータセットの構築、低サービス言語のための実践的なMTモデルの開発、これらの言語に対する評価指標の限界の検証という3つの研究領域における結果について述べる。我々の研究は、現在調査中の言語のためのMTシステムの構築に取り組んでいる実践者にとって有用な洞察を提供し、データスパース設定における多言語モデルの弱点を補完する研究の方向性を強調したいと考えています。
論文参考訳（メタデータ） (2022-05-09T00:24:13Z)
Russian SuperGLUE 1.1: Revising the Lessons not Learned by Russian NLP models [53.95094814056337]
本稿では,ロシアNLPモデルのGLUEを改良したベンチマークである,ロシアのSuperGLUE 1.1を提案する。新バージョンには、技術的、ユーザエクスペリエンス、方法論的改善が多数含まれている。我々は,ロシアのSuperGLUEをオープンソースモデルMOROCCOの産業的評価のためのフレームワークに統合する。
論文参考訳（メタデータ） (2022-02-15T23:45:30Z)
RuMedBench: A Russian Medical Language Understanding Benchmark [58.99199480170909]
本稿では,複数のタスクタイプをカバーするオープンなロシア語医療言語理解ベンチマークについて述べる。我々は、新しいタスクのための統一されたフォーマットラベリング、データ分割、評価メトリクスを作成します。シングルナンバーメトリックは、ベンチマークに対処するモデルの能力を表す。
論文参考訳（メタデータ） (2022-01-17T16:23:33Z)
Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
論文参考訳（メタデータ） (2021-11-03T03:03:19Z)
Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
論文参考訳（メタデータ） (2020-10-05T11:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。