論文の概要: On the Robustness of Multilingual Text Embedding Rankings Across Learning Tasks, Languages, and Benchmark Datasets

• arxiv url: http://arxiv.org/abs/2605.31142v1
• Date: Fri, 29 May 2026 10:50:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.552681
• Title: On the Robustness of Multilingual Text Embedding Rankings Across Learning Tasks, Languages, and Benchmark Datasets
• Title（参考訳）: 学習課題・言語・ベンチマークデータセット間のランク付けを組み込んだ多言語テキストのロバスト性について
• Abstract要約: 大規模多言語テキスト埋め込みモデルは、研究と産業において重要な役割を担っている。 モデル優越性に関する発見は、しばしばデータセットの合成とパフォーマンスアグリゲーションメソッドの暗黙の選択に依存する。 MTEBにおける多言語モデル性能のメタスタディを提案する。
• 参考スコア（独自算出の注目度）: 3.9407886544063384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale multilingual text embedding models play crucial role in both research and industry, yet their behavior in language-specific, multi-task settings remains insufficiently understood. Although benchmarking platforms such as MTEB report results across more than 250 languages, conclusions about model superiority often depend on implicit choices of dataset compositions and performance aggregation methods. To address this gap, we present a meta-study of multilingual model performance robustness in MTEB, applying a diverse set of multi-criteria decision-making ranking schemes and introducing two robustness indicators: dataset-composition robustness (sensitivity of rankings to changing dataset compositions) and ranking-scheme robustness (sensitivity to aggregation method change). They enable systematic sensitivity analysis of whether benchmarking conclusions remain stable under different evaluation designs. We conduct an in-depth analysis on five languages (English, French, German, Hindi, and Spanish) across nine tasks (e.g., classification, clustering, retrieval) and release results for approximately 230 additional languages. The task-specific analyses show that large-scale LLM-based models are often robust top performers, though not uniformly (e.g., in retrieval task), while task-agnostic results reveal that only a small subset of models remains consistently strong across tasks, ranking schemes, and data subsamples.
• Abstract（参考訳）: 大規模多言語テキスト埋め込みモデルは、研究と産業の両方において重要な役割を果たすが、言語固有のマルチタスク設定におけるそれらの振る舞いは、まだ十分に理解されていない。 MTEBなどのベンチマークプラットフォームでは250以上の言語で結果が報告されているが、モデル優越性に関する結論は、しばしばデータセット合成とパフォーマンス集約手法の暗黙の選択に依存する。 このギャップに対処するために,MTEB における多言語モデル性能の頑健さのメタスタディを提案し,多条件意思決定ランキング方式を適用し,データセット合成の頑健さ(データセット構成の変更に対するランキングの感度)とランキングスキーマの頑健さ(アグリゲーション手法の変更に対する感度)の2つのロバスト性指標を導入する。 これらは、異なる評価設計の下でベンチマーク結果が安定であるかどうかの系統的な感度解析を可能にする。 我々は、9つのタスク(例えば、分類、クラスタリング、検索)で5つの言語(英語、フランス語、ドイツ語、ヒンディー語、スペイン語)を詳細に分析し、約230の追加言語に対してリリース結果を公表する。 タスク固有の分析では、大規模LLMベースのモデルは、一様でない(例えば、検索タスク)にもかかわらず、しばしばロバストなトップパフォーマーであることが示され、一方、タスクに依存しない結果からは、タスク、ランキングスキーム、データサブサンプルにおいて、モデルの小さなサブセットのみが一貫して強いままであることがわかった。

関連論文リスト

• Dataset Scarcity Limits Robust Evaluation of Multilingual Embedding Models: A Case Study of Slavic Languages [3.9407886544063384]
  本稿では,データセット不足下での多言語埋め込みベンチマーク解析のための2次元フレームワークを提案する。 このフレームワークは,3つの相補的な側面を共同で分析しながら,タスク固有の評価とタスク間の評価を区別する。 スラヴ語とタスクのペアの多くは、単一のデータセットや高い相関のベンチマークコレクションに依存しています。
  論文  参考訳（メタデータ） (2026-08-25T12:23:31Z)
• LangGPS: Language Separability Guided Data Pre-Selection for Joint Multilingual Instruction Tuning [49.22807995935406]
  大規模言語モデル(LLM)の多言語命令追従能力と下流性能を改善するための多言語命令チューニングは広く採用されている手法である。 既存の選択法は、しばしばテキストの品質、多様性、タスク関連性といった特徴に基づいており、典型的には多言語データの固有の言語構造を見落としている。 言語分離性によって導かれる軽量な2段階事前選択フレームワークであるLangGPSを提案する。
  論文  参考訳（メタデータ） (2025-11-13T12:02:32Z)
• SOI Matters: Analyzing Multi-Setting Training Dynamics in Pretrained Language Models via Subsets of Interest [5.882817862856554]
  本研究では,マルチタスク,マルチ言語,マルチソースの学習アプローチが,事前学習した言語モデルの堅牢性と性能に与える影響について検討する。 興味のサブセット(SOI)は、忘れられない例、未学習例、常に正しい例を含む、トレーニング中の6つの異なる学習行動パターンを特定する。 その結果,マルチタスク学習は相似したタスクの組み合わせにおいて,相似した結果と相似した結果を示す一方,マルチタスク学習は分配性能を最大7%向上させることがわかった。
  論文  参考訳（メタデータ） (2025-07-21T04:43:21Z)
• MMTEB: Massive Multilingual Text Embedding Benchmark [85.18187649328792]
  我々はMMTEBベンチマーク(Massive Multilingual Text Embedding Benchmark)を紹介する。 MMTEBは250以上の言語で500以上の品質管理された評価タスクをカバーしている。 我々は複数の多言語ベンチマークを開発し、モデルを代表的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T10:13:43Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。