論文の概要: VN-MTEB: Vietnamese Massive Text Embedding Benchmark
- arxiv url: http://arxiv.org/abs/2507.21500v1
- Date: Tue, 29 Jul 2025 04:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-30 17:08:55.661417
- Title: VN-MTEB: Vietnamese Massive Text Embedding Benchmark
- Title（参考訳）: VN-MTEB:ベトナムの大規模テキストベンチマーク
- Authors: Loc Pham, Tung Luu, Thu Vo, Minh Nguyen, Viet Hoang,
- Abstract要約: ベトナムは、インターネットトラフィックとオンライン毒性の両面でトップ国にランクインしている。
私たちのベンチマークはベトナム語テキストの埋め込み用に特別に設計された6つのタスクから41のデータセットで構成されています。
本分析では, ロータリー位置埋め込みを用いたより大規模で複雑なモデルでは, 絶対位置埋め込みを組込み作業に用いたモデルよりも優れていた。
- 参考スコア（独自算出の注目度）: 0.5205587217393737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vietnam ranks among the top countries in terms of both internet traffic and online toxicity. As a result, implementing embedding models for recommendation and content control duties in applications is crucial. However, a lack of large-scale test datasets, both in volume and task diversity, makes it tricky for scientists to effectively evaluate AI models before deploying them in real-world, large-scale projects. To solve this important problem, we introduce a Vietnamese benchmark, VN-MTEB for embedding models, which we created by translating a large number of English samples from the Massive Text Embedding Benchmark using our new automated framework. We leverage the strengths of large language models (LLMs) and cutting-edge embedding models to conduct translation and filtering processes to retain high-quality samples, guaranteeing a natural flow of language and semantic fidelity while preserving named entity recognition (NER) and code snippets. Our comprehensive benchmark consists of 41 datasets from six tasks specifically designed for Vietnamese text embeddings. In our analysis, we find that bigger and more complex models using Rotary Positional Embedding outperform those using Absolute Positional Embedding in embedding tasks. Datasets are available at HuggingFace: https://huggingface.co/collections/GreenNode/vn-mteb-68871433f0f7573b8e1a6686
- Abstract（参考訳）: ベトナムは、インターネットトラフィックとオンライン毒性の両面でトップ国にランクインしている。
その結果、アプリケーションにレコメンデーションとコンテンツ制御の義務を組み込むための埋め込みモデルを実装することが重要である。
しかし、ボリュームとタスクの多様性の両方において、大規模なテストデータセットが欠如しているため、現実の大規模プロジェクトにデプロイする前に、科学者がAIモデルを効果的に評価することは難しい。
この重要な問題を解決するため、我々はベトナムのベンチマークであるVN-MTEBを導入し、新しい自動フレームワークを用いてMassive Text Embedding Benchmarkから多数の英語サンプルを翻訳した。
我々は、大言語モデル(LLM)と最先端埋め込みモデルの強みを活用して、翻訳およびフィルタリングプロセスを実行し、高品質なサンプルを保存し、名前付きエンティティ認識(NER)とコードスニペットを保存しながら、言語と意味的忠実性の自然なフローを保証する。
包括的なベンチマークはベトナム語テキストの埋め込み用に特別に設計された6つのタスクから41のデータセットで構成されています。
本分析では, ロータリー位置埋め込みを用いたより大規模で複雑なモデルでは, 絶対位置埋め込みを組込み作業に用いたモデルよりも優れていた。
https://huggingface.co/collections/GreenNode/vn-mteb-68871433f0f7573b8e1a6686
関連論文リスト
- MMTEB: Massive Multilingual Text Embedding Benchmark [85.18187649328792]
我々はMMTEBベンチマーク(Massive Multilingual Text Embedding Benchmark)を紹介する。
MMTEBは250以上の言語で500以上の品質管理された評価タスクをカバーしている。
我々は複数の多言語ベンチマークを開発し、モデルを代表的に評価する。
論文 参考訳（メタデータ） (2025-02-19T10:13:43Z) - LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。
LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。
ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
論文 参考訳（メタデータ） (2024-10-14T17:51:23Z) - Evaluating Language Model Context Windows: A "Working Memory" Test and Inference-time Correction [10.428174043080622]
大規模言語モデルは現実世界のアプリケーションで顕著に使われ、しばしば大量の文書を推論する。
本稿では,標準テストの限界に対処する評価フレームワークであるSWiMを提案する。
また,この効果を緩和する,単純かつ効果的なトレーニングフリーアプローチであるメドイド投票を提案する。
論文 参考訳（メタデータ） (2024-07-04T05:46:20Z) - MTEB-French: Resources for French Sentence Embedding Evaluation and Analysis [1.5761916307614148]
本稿では,フランス語の文埋め込みに関する最初のベンチマークを提案する。
51個の埋め込みモデルを大規模に比較した。
すべてのタスクにおいてモデルが最良でない場合でも、文類似性に基づいて事前訓練された大規模多言語モデルは非常によく機能することがわかった。
論文 参考訳（メタデータ） (2024-05-30T20:34:37Z) - ViHateT5: Enhancing Hate Speech Detection in Vietnamese With A Unified Text-to-Text Transformer Model [0.0]
提案する大規模ドメイン固有データセット VOZ-HSD を事前トレーニングした T5 ベースのモデルである ViHateT5 を紹介する。
ViHateT5はテキストからテキストへのアーキテクチャのパワーを活用することで、統一モデルを使用して複数のタスクに対処し、ベトナムのすべての標準HSDベンチマークで最先端のパフォーマンスを達成することができる。
論文 参考訳（メタデータ） (2024-05-23T03:31:50Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented
Languages [105.54207724678767]
データ不足は、多言語NLPシステムの開発において重要な問題である。
我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。
XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文 参考訳（メタデータ） (2023-05-19T18:00:03Z) - LOT: A Benchmark for Evaluating Chinese Long Text Understanding and
Generation [49.57366550980932]
ロングテキストモデリングは、長距離コモンセンスや談話関係のモデリングのような多くの機能を必要とする。
中国語長文モデリング評価のための2つの理解と2つの世代タスクを含むベンチマークであるLOTを提案する。
我々は、最大10億のパラメータを持つLongLMという、エンコーダ-デコーダ中国の長文事前学習モデルをリリースする。
論文 参考訳（メタデータ） (2021-08-30T02:38:32Z) - Paraphrastic Representations at Scale [134.41025103489224]
私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。
我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
論文 参考訳（メタデータ） (2021-04-30T16:55:28Z) - Abstractive Text Summarization based on Language Model Conditioning and
Locality Modeling [4.525267347429154]
BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。
さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。
我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
論文 参考訳（メタデータ） (2020-03-29T14:00:17Z) - Enhancing lexical-based approach with external knowledge for Vietnamese
multiple-choice machine reading comprehension [2.5199066832791535]
我々はベトナム語の417のテキストに基づいて,2,783対の複数選択質問と回答からなるデータセットを構築した。
本稿では,意味的類似度尺度と外部知識源を用いて質問を分析し,与えられたテキストから回答を抽出する語彙ベースのMDC手法を提案する。
提案手法は,最良ベースラインモデルよりも5.51%高い精度で61.81%の精度を実現する。
論文 参考訳（メタデータ） (2020-01-16T08:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。