Fugu-MT 論文翻訳(概要): BamiBERT: A New BERT-based Language Model for Vietnamese

論文の概要: BamiBERT: A New BERT-based Language Model for Vietnamese

arxiv url: http://arxiv.org/abs/2607.02259v1
Date: Thu, 02 Jul 2026 14:46:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-03 19:45:08.875888
Title: BamiBERT: A New BERT-based Language Model for Vietnamese
Title（参考訳）: BamiBERT:ベトナム語のための新しいBERTベースの言語モデル
Abstract要約: BamiBERT はベトナム語のための新しい BERT ベースの事前学習型言語モデルである。 BamiBERTは2048トークンまで拡張されたコンテキスト長をサポートし、生の入力で直接動作する。 15のメトリクスのうち11でベストスコアを獲得し、他の3つのメトリクスで2位を獲得します。
参考スコア（独自算出の注目度）: 15.256768347493832
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we introduce BamiBERT, a new BERT-based pre-trained language model for Vietnamese that addresses key limitations of PhoBERT -- the current de facto Vietnamese text encoder. Trained from scratch on a 129GB corpus of general-domain Vietnamese text for 20 epochs, BamiBERT supports an extended context length of up to 2048 tokens and operates directly on raw input, eliminating the need for external word segmentation. Across 8 Vietnamese benchmarks, it achieves the best score on 11 of 15 metrics and the second-best on 3 others, setting a new state of the art among "base"-sized Vietnamese encoders and demonstrating strong cross-domain generalization. We release BamiBERT at: https://huggingface.co/Qualcomm-AI-Research/BamiBERT
Abstract（参考訳）: 本稿では,現在のベトナム語テキストエンコーダであるPhoBERTの重要な制約に対処する,BERTベースのベトナム語用事前学習言語モデルであるBamiBERTを紹介する。 BamiBERTは、20エポックの129GBのベトナム語テキストコーパスでゼロからトレーニングされ、最大2048トークンまでのコンテキスト長をサポートし、生の入力を直接操作し、外部の単語セグメンテーションを不要にしている。 8つのベトナムのベンチマークで15のメトリクスのうち11のスコアと3のメトリクスのうち2のベストスコアを達成し、"ベース"サイズのベトナムのエンコーダの中で新たな最先端の技術を確立し、強力なクロスドメインの一般化を示す。 https://huggingface.co/Qualcomm-AI-Research/BamiBERT

関連論文リスト

Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文参考訳（メタデータ） (2026-03-17T14:47:35Z)
mmBERT: A Modern Multilingual Encoder with Annealed Language Learning [57.58071656545661]
mmBERTは、多言語テキストの3Tトークンで事前訓練されたエンコーダのみの言語モデルである。データに1700以上の低リソース言語を追加しています。分類および検索タスクにおける従来のモデルよりも, mmBERTの方が優れていたことを示す。
論文参考訳（メタデータ） (2025-09-08T17:08:42Z)
Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。 RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
論文参考訳（メタデータ） (2025-05-25T23:06:20Z)
MaiBaam: A Multi-Dialectal Bavarian Universal Dependency Treebank [56.810282574817414]
We present the first multi-dialect Bavarian treebank (MaiBaam) based with part-of-speech and syntactic dependency information in Universal Dependencies (UD)。我々は、近縁なバイエルン語とドイツ語のモルフォシンタクティックな相違を強調し、話者の正書法の豊富な多様性を示す。私たちのコーパスには15kのトークンが含まれており、3つの国にまたがるバイエルン語を話すすべての地域の方言をカバーしています。
論文参考訳（メタデータ） (2024-03-15T13:33:10Z)
ViSoBERT: A Pre-Trained Language Model for Vietnamese Social Media Text Processing [1.1765925931670576]
ベトナムのソーシャルメディアテキストであるViSoBERTに対して,最初のモノリンガル事前学習言語モデルを提案する。我々の実験では、ViSoBERTはパラメータがはるかに少ないため、ベトナムのソーシャルメディアタスクにおける過去の最先端モデルを上回ることが示されている。
論文参考訳（メタデータ） (2023-10-17T11:34:50Z)
ViDeBERTa: A powerful pre-trained language model for Vietnamese [10.000783498978604]
本稿ではベトナム語のための単言語モデルViDeBERTaについて述べる。 ViDeBERTa_xsmall、ViDeBERTa_base、ViDeBERTa_largeの3つのバージョンは、高品質で多様なベトナム語テキストの大規模コーパスで事前訓練されている。我々は,3つの重要な自然言語下流タスク,パート・オブ・音声タギング,名前付き親和性認識,質問応答を微調整し,評価する。
論文参考訳（メタデータ） (2023-01-25T07:26:54Z)
Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task [49.916963624249355]
本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
論文参考訳（メタデータ） (2022-10-17T04:34:09Z)
FBERT: A Neural Transformer for Identifying Offensive Content [67.12838911384024]
fBERTは、SOLIDで再訓練されたBERTモデルである。複数の英文データセット上での攻撃的内容の同定におけるfBERTの性能を評価し、SOLIDからインスタンスを選択するためのしきい値をテストする。 fBERTモデルは、コミュニティで自由に利用できるようになる。
論文参考訳（メタデータ） (2021-09-10T19:19:26Z)
COVID-19 Named Entity Recognition for Vietnamese [6.17059264011429]
ベトナムで最初の手作業によるcovid-19ドメイン固有データセットについて紹介する。私たちのデータセットは、新たに定義されたエンティティタイプを持つ名前付きエンティティ認識タスクにアノテートされます。当社のデータセットには、既存のベトナムのNERデータセットと比較して最大数のエンティティが含まれています。
論文参考訳（メタデータ） (2021-04-08T16:35:34Z)
A Pilot Study of Text-to-SQL Semantic Parsing for Vietnamese [11.782566169354725]
ベトナムにおける大規模なテキスト・ソース・セマンティック・パーシング・データセットについて紹介する。ベトナム語の単語の自動区分けにより,両方のベースラインの構文解析結果が改善されることが判明した。 PhoBERT for Vietnamは、最近の最高の多言語言語モデルXLM-Rよりも高いパフォーマンスを実現している。
論文参考訳（メタデータ） (2020-10-05T09:54:51Z)
PhoBERT: Pre-trained language models for Vietnamese [11.685916685552982]
PhoBERTはベトナムで事前訓練された最初の大規模モノリンガル言語モデルである。実験結果から, PhoBERT は最新の学習済み多言語モデル XLM-R よりも一貫して優れていた。我々はPhoBERTをリリースし、ベトナムのNLPの今後の研究と下流の応用を促進する。
論文参考訳（メタデータ） (2020-03-02T10:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。