論文の概要: Beyond Multilingual Averages: MTEB-PT, a Benchmark for Portuguese Sentence Encoders
- arxiv url: http://arxiv.org/abs/2607.04071v1
- Date: Sun, 05 Jul 2026 01:06:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.81202
- Title: Beyond Multilingual Averages: MTEB-PT, a Benchmark for Portuguese Sentence Encoders
- Title（参考訳）: 言語平均を超える: MTEB-PT - ポルトガル語文エンコーダのベンチマーク
- Abstract要約: ポルトガル語は世界で最も広く話されている言語の一つである。
埋め込みモデルは英語または多言語メトリクスに基づいて選択されることが多いが、ポルトガル語での有効性は不明確である。
MMTEBのサブセットから構築したポルトガルのベンチマークMTEB-PTを提案する。
- 参考スコア（独自算出の注目度）: 42.78591555984395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Portuguese remains underrepresented in text embedding evaluation, despite being one of the most widely spoken languages in the world. As a result, embedding models are often selected based on English or multilingual metrics, while their effectiveness in Portuguese remains unclear. We present MTEB-PT, a Portuguese benchmark constructed from a subset of MMTEB, comprising 14 existing datasets across Semantic Textual Similarity (STS), classification, retrieval, and reranking. We use this benchmark to evaluate 17 open- and closed-source embedding models under a unified protocol. Our results show that Portuguese performance is strongly task-dependent: multilingual rankings do not reliably predict Portuguese-specific performance across task families, no single model dominates all settings, and models with stronger long-context capacity are particularly advantageous on longer-input tasks such as retrieval and reranking. The benchmark also shows that language-specific fine-tuning still improves model performance in Portuguese, especially on task types that match the adaptation data most closely. To examine this effect, we fine-tune three representative backbone models with Portuguese contrastive supervision and Matryoshka Representation Learning (MRL). These benchmark-informed baselines yield their strongest gains on STS, consistent with the predominantly symmetric supervision used during training, while also improving retrieval and remaining competitive under dimensional truncation. We release the MTEB-PT benchmark, the fine-tuned models, and the training and evaluation code.
- Abstract（参考訳）: ポルトガル語は、世界でも最も広く話されている言語であるにもかかわらず、テキストの埋め込み評価では不足している。
結果として、埋め込みモデルは英語または多言語メトリクスに基づいて選択されることが多いが、ポルトガル語での有効性は不明確である。
MMTEBのサブセットから構築されたポルトガルのベンチマークMTEB-PTを,セマンティックテキスト類似性(STS),分類,検索,再分類にまたがる14の既存データセットからなる。
このベンチマークを用いて、17のオープンソースおよびクローズドな埋め込みモデルを統一されたプロトコルで評価する。
マルチリンガルランキングは,タスクファミリ間のポルトガル固有のパフォーマンスを確実に予測するものではなく,すべての設定を支配せず,長いコンテキスト能力の強いモデルは,検索や再ランクといったより長いタスクにおいて特に有利である。
ベンチマークでは、特に適応データに最も近いタスクタイプにおいて、言語固有の微調整がポルトガル語のモデルパフォーマンスを改善することも示している。
この効果を検討するために,ポルトガルのコントラスト監督とMatryoshka Representation Learning(MRL)を用いた3つの代表的なバックボーンモデルを微調整した。
これらのベンチマークインフォームドベースラインは、トレーニング中に主に対称的に使用される監督と整合し、また、次元的切り離し下での回復と競争性を改善しながら、STSで最大の利得を得る。
MTEB-PTベンチマーク、微調整モデル、トレーニングおよび評価コードをリリースする。
関連論文リスト
- Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation [50.731838216268706]
多言語コーパス上での英語中心のMoEモデルの継続事前学習における多言語ルーティングのダイナミクスについて検討する。
連続的な多言語事前学習は、初期層と中層に拡散し、言語に依存しないルーティングをもたらす。
最終MoE層における言語固有の専門家と共有専門家を更新するパラメータ効率適応戦略を提案する。
論文 参考訳（メタデータ） (2026-05-28T10:12:41Z) - Brazilian Portuguese Image Captioning with Transformers: A Study on Cross-Native-Translated Dataset [41.02122939888977]
本研究では,ブラジルのポルトガル語ICを対象としたトランスフォーマーを用いた視覚・言語モデルのクロスネイティブ評価を提案する。
ブラジル原住民のポルトガル語話者が手動で作成したキャプションで構成されたFlickr30Kのバージョンを使用し、それを英語からポルトガル語に自動翻訳されたキャプションと比較する。
以上の結果から,Swin-DistilBERTimbauは他のモデルよりも優れており,データセット間の強い一般化が示されている。
論文 参考訳（メタデータ） (2026-01-30T23:12:03Z) - Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation [49.2073409243885]
大規模言語モデル(LLM)は、英語の対物生成に優れ、多言語習熟度を示す。
対象言語における直接生成された反事実と6言語間の英訳によって導出されるものの両方について自動評価を行う。
言語間で生成した偽物に一貫して現れる4つの主要なエラーを識別し分類する。
論文 参考訳（メタデータ） (2026-01-01T08:53:49Z) - PoETa v2: Toward More Robust Evaluation of Large Language Models in Portuguese [13.666117502565827]
ポルトガル語におけるLarge Language Models (LLM) の最も広範な評価について述べる。
トレーニングスケールと計算リソースの幅広い範囲をカバーする20以上のモデルを評価する。
このベンチマークと分析を通じて、PoETa v2はポルトガル語のモデリングと評価に関する将来の研究の基礎を成している。
論文 参考訳（メタデータ） (2025-11-21T22:01:51Z) - Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings [1.1556013985948772]
インドネシアの低リソース言語への事前学習言語モデルの転送性を評価する。
私たちはターゲット言語を、見る、見る、見る、見る、見えない3つのカテゴリに分類します。
マルチ言語モデルは、目に見える言語で、部分的に見られる言語では適度に、目に見えない言語では劣る。
対象言語にラベル付きデータを必要としないため,MAD-Xは性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2025-07-02T12:17:55Z) - P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M
P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。
我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
論文 参考訳（メタデータ） (2024-11-14T01:29:36Z) - Beyond Static Models and Test Sets: Benchmarking the Potential of
Pre-trained Models Across Tasks and Languages [15.373725507698591]
本稿は,多言語評価における既存の実践を信頼できないものにし,言語環境全体にわたるMMLMの性能の全体像を提示していないことを論じる。
我々は,NLPタスクのパフォーマンス予測における最近の研究が,多言語NLPにおけるベンチマークの修正における潜在的な解決策となることを示唆する。
実験データと4つの異なる多言語データセットのケーススタディを比較し、これらの手法が翻訳に基づくアプローチとよく一致している性能の信頼性を推定できることを示した。
論文 参考訳（メタデータ） (2022-05-12T20:42:48Z) - Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。
文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文 参考訳（メタデータ） (2021-09-16T03:08:22Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳（メタデータ） (2020-03-24T19:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。