論文の概要: Dataset Scarcity Limits Robust Evaluation of Multilingual Embedding Models: A Case Study of Slavic Languages

• arxiv url: http://arxiv.org/abs/2608.24477v1
• Date: Tue, 25 Aug 2026 12:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.965805
• Title: Dataset Scarcity Limits Robust Evaluation of Multilingual Embedding Models: A Case Study of Slavic Languages
• Title（参考訳）: マルチリンガル埋め込みモデルのロバスト評価に制約のあるデータセット:スラヴ語を事例として
• Abstract要約: 本稿では,データセット不足下での多言語埋め込みベンチマーク解析のための2次元フレームワークを提案する。 このフレームワークは,3つの相補的な側面を共同で分析しながら,タスク固有の評価とタスク間の評価を区別する。 スラヴ語とタスクのペアの多くは、単一のデータセットや高い相関のベンチマークコレクションに依存しています。
• 参考スコア（独自算出の注目度）: 3.9407886544063384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual text embedding models enable cross-lingual transfer of knowledge across a wide range of NLP tasks, but their evaluation remains highly uneven across high-, mid- and low-resource languages. In this paper, we propose a two-dimensional framework, specifically tailored for analyzing multilingual embedding benchmarks under dataset scarcity, and apply it on the Slavic-language subset of the MTEB benchmark. The framework distinguishes between task-specific and cross-task evaluation, while jointly analyzing three complementary aspects: (1) ranking robustness, (2) model consistency, and (3) evidence strength. At the task-specific level, we evaluate the stability of model rankings under changes in ranking methodology and benchmark dataset composition. At the cross-task level, we assess the ability of models to generalize across diverse tasks within a language. To quantify the reliability of benchmark conclusions, we introduce an Evidence Strength Score that accounts for dataset availability, diversity, and robustness assessability. Our analysis reveals severe benchmark sparsity, with many Slavic language-task pairs relying on a single dataset or highly correlated benchmark collections, limiting the ability to draw robust conclusions. The cross-task analysis reveals a small group of highly transferable models, most notably llama-embed-nemotron-8b, multilingual-e5-large-instruct, and Qwen3-Embedding variants, that consistently perform well across Slavic languages and tasks. Overall, the results demonstrate that benchmark rankings and robustness conclusions must be interpreted jointly with certain notation of their evidence strength and highlight benchmark scarcity as a major obstacle to trustworthy multilingual evaluation.
• Abstract（参考訳）: 多言語テキスト埋め込みモデルは、幅広いNLPタスクにわたる知識の言語間移動を可能にするが、その評価は高、中、低リソース言語では非常に不均一である。 本稿では,データセット不足下での多言語埋め込みベンチマークの分析に適した2次元フレームワークを提案し,MTEBベンチマークのスラヴ語サブセットに適用する。 このフレームワークはタスク固有の評価とクロスタスクの評価を区別する一方で,(1)ランキングロバスト性,(2)モデル一貫性,(3)エビデンス強度の3つの相補的側面を共同解析する。 タスク固有のレベルでは、ランキング手法とベンチマークデータセット構成の変化の下で、モデルランキングの安定性を評価する。 クロスタスクレベルでは、言語内の様々なタスクにまたがるモデルを一般化する能力を評価する。 ベンチマーク結果の信頼性を定量化するために,データセットの可用性,多様性,堅牢性を評価するEvidence Strength Scoreを導入する。 スラヴ語とタスクのペアの多くは単一のデータセットや高い相関のベンチマークコレクションに依存しており、ロバストな結論を引き出す能力は制限されている。 クロスタスク解析では、ラマ埋め込みネモトロン-8b、多言語e5-large-instruct、Qwen3-embededding variantといった、スラヴ語の言語やタスク間で一貫してよく機能する、非常に伝達性の高いモデルの小さなグループが明らかにされている。 全体として、ベンチマークのランキングとロバストネスの結論は、証拠強度の特定の表記と共同で解釈され、信頼に値する多言語評価の大きな障害として、ベンチマークの不足が強調されなければならないことが示されている。

関連論文リスト

• On the Robustness of Multilingual Text Embedding Rankings Across Learning Tasks, Languages, and Benchmark Datasets [3.9407886544063384]
  大規模多言語テキスト埋め込みモデルは、研究と産業において重要な役割を担っている。 モデル優越性に関する発見は、しばしばデータセットの合成とパフォーマンスアグリゲーションメソッドの暗黙の選択に依存する。 MTEBにおける多言語モデル性能のメタスタディを提案する。
  論文  参考訳（メタデータ） (2026-05-29T10:50:22Z)
• Multimodal Evaluation of Russian-language Architectures [88.00147763684451]
  本稿では,ロシアの建築におけるオープンなマルチモーダル評価フレームワークであるMera Multiを紹介する。 ベンチマークはインストラクションベースで、デフォルトのテキスト、画像、オーディオ、ビデオモダリティを含んでいる。 Mera Multiは、マルチモーダルベンチマークを構築するための複製可能な方法論を提供する。
  論文  参考訳（メタデータ） (2025-11-19T15:43:53Z)
• On the Entity-Level Alignment in Crosslingual Consistency [62.33186691736433]
  SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。 これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
  論文  参考訳（メタデータ） (2025-10-11T16:26:50Z)
• M3TQA: Massively Multilingual Multitask Table Question Answering [39.99483693397598]
  m3TQA-Instructは97の言語にまたがる大規模なベンチマークである。 我々は、中国語と英語で50の現実世界のテーブルをキュレートしてm3TQAを構築し、DeepSeekとGPT-4oをベースとした堅牢な6ステップの翻訳パイプラインを適用した。 このベンチマークには、微妙なテーブル推論能力を評価するために設計された4つのタスクに2,916の専門的なアノテートされた質問応答ペアが含まれている。
  論文  参考訳（メタデータ） (2025-08-22T09:57:40Z)
• Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent? [29.155049176669916]
  言語間の一貫性は、言語間の伝達性を評価するために考慮すべきである。 コードスイッチングトレーニングと言語間単語アライメントの目的は、最も有望な結果を示す。
  論文  参考訳（メタデータ） (2025-07-17T06:55:15Z)
• Rethinking Multilingual Vision-Language Translation: Dataset, Evaluation, and Adaptation [45.551223552275424]
  視覚言語翻訳は、画像に埋め込まれた多言語テキストを正確に認識する必要がある課題である。 本稿では,データ品質,モデルアーキテクチャ,評価指標の3つの重要な視点からVLTを総合的に検討する。
  論文  参考訳（メタデータ） (2025-06-13T14:23:38Z)
• Multilingual European Language Models: Benchmarking Approaches and Challenges [2.413212225810367]
  生成型大規模言語モデル(LLM)は、チャットインタラクションによってさまざまなタスクを解決できる。 本稿では、多言語欧州ベンチマークに着目し、現在の評価データセットの利点と限界について分析する。 本稿では,翻訳品質と文化バイアスを高めるための潜在的な解決策について論じる。
  論文  参考訳（メタデータ） (2025-02-18T14:32:17Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• Advancing Multilingual Pre-training: TRIP Triangular Document-level Pre-training for Multilingual Language Models [107.83158521848372]
  我々は,従来のモノリンガルおよびバイリンガルの目的を,グラフト法と呼ばれる新しい手法で三言語的目的に加速する分野において,最初のテキストbfTriangular Document-level textbfPre-training(textbfTRIP)を提案する。 TRIPは、3つの多言語文書レベルの機械翻訳ベンチマークと1つの言語間抽象的な要約ベンチマークで、最大3.11d-BLEU点と8.9ROUGE-L点の一貫性のある改善を含む、強力なSOTAスコアを達成している。
  論文  参考訳（メタデータ） (2022-12-15T12:14:25Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。