論文の概要: GoiBERT: Compact Vietnamese Language Models via Two-Stage Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2610.30067v1
• Date: Wed, 21 Oct 2026 17:24:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.456888
• Title: GoiBERT: Compact Vietnamese Language Models via Two-Stage Knowledge Distillation
• Title（参考訳）: GoiBERT: 2段階の知識蒸留によるベトナム語モデルのコンパクト化
• Abstract要約: GoiBERTは、26Mと49Mのパラメータを持つベトナムのコンパクトエンコーダのファミリーで、生のテキストで直接動作する。 GoiBERT-largeは、教師以外のモデルの中で、最高の平均スコアを達成している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vietnamese pre-trained encoders have improved rapidly, but the strongest ones are large, multilingual-vocabulary models or depend on external word segmentation, which makes them costly to deploy. We present GoiBERT, a family of two compact Vietnamese encoders with 26M and 49M parameters that operate directly on raw text. GoiBERT learns from two complementary teachers. A same-tokenizer Vietnamese encoder first teaches general-purpose representations. A much larger teacher then provides task-level guidance through soft labels that are generated without ever labeling its own training data. Across eight benchmarks covering text classification, aspect-based sentiment analysis, natural language inference, and named entity recognition, GoiBERT-large achieves the highest average score among non-teacher models. It does so with fewer than half the parameters of the strongest compact baseline and twice its throughput. GoiBERT-base retains 99% of that baseline's performance at a quarter of its size. Our analysis shows that compression is nearly lossless for sentiment and classification tasks but remains costly for inference and entity recognition, which points to clear directions for future work. Our code and models are available at: https://github.com/Nhantran65/GoiBERT.git
• Abstract（参考訳）: ベトナムの事前訓練エンコーダは急速に改善されているが、最強のエンコーダは大規模で多言語語彙モデルか、あるいは外部単語セグメンテーションに依存しているため、デプロイにコストがかかる。 原文を直接操作する26Mおよび49Mパラメータを持つベトナムのコンパクトエンコーダ群であるGoiBERTについて述べる。 GoiBERTは2人の相補的な教師から学ぶ。 同じトケナイザーのベトナム語エンコーダが最初に汎用表現を教えている。 さらに大きな教師は、自身のトレーニングデータをラベル付けせずに生成されるソフトラベルを通じてタスクレベルのガイダンスを提供する。 テキスト分類、アスペクトベースの感情分析、自然言語推論、名前付きエンティティ認識を含む8つのベンチマークにおいて、GoiBERT-largeは、教師以外のモデルの中で、最も高い平均スコアを達成している。 これは最強のコンパクトベースラインのパラメータの半分以下で、スループットは2倍である。 GoiBERTベースは、ベースラインのパフォーマンスの99%をその4分の1で維持している。 分析の結果、圧縮は感情や分類作業ではほとんどロスレスであるが、推論や実体認識にはコストがかかり、今後の作業の明確な方向性が示唆されている。 私たちのコードとモデルは、https://github.com/Nhantran65/GoiBERT.gitで利用可能です。

関連論文リスト

• BamiBERT: A New BERT-based Language Model for Vietnamese [15.256768347493832]
  BamiBERT はベトナム語のための新しい BERT ベースの事前学習型言語モデルである。 BamiBERTは2048トークンまで拡張されたコンテキスト長をサポートし、生の入力で直接動作する。 15のメトリクスのうち11でベストスコアを獲得し、他の3つのメトリクスで2位を獲得します。
  論文  参考訳（メタデータ） (2026-07-02T14:46:54Z)
• mmBERT: A Modern Multilingual Encoder with Annealed Language Learning [57.58071656545661]
  mmBERTは、多言語テキストの3Tトークンで事前訓練されたエンコーダのみの言語モデルである。 データに1700以上の低リソース言語を追加しています。 分類および検索タスクにおける従来のモデルよりも, mmBERTの方が優れていたことを示す。
  論文  参考訳（メタデータ） (2025-09-08T17:08:42Z)
• GigaSpeech 2: An Evolving, Large-Scale and Multi-domain ASR Corpus for Low-Resource Languages with Automated Crawling, Transcription and Refinement [36.29371629234269]
  GigaSpeech 2は大規模多言語音声認識コーパスである。 タイ語、インドネシア語、ベトナム語を含む約3万時間の音声が自動で書き起こされる。
  論文  参考訳（メタデータ） (2024-06-17T13:44:20Z)
• ViDeBERTa: A powerful pre-trained language model for Vietnamese [10.000783498978604]
  本稿ではベトナム語のための単言語モデルViDeBERTaについて述べる。 ViDeBERTa_xsmall、ViDeBERTa_base、ViDeBERTa_largeの3つのバージョンは、高品質で多様なベトナム語テキストの大規模コーパスで事前訓練されている。 我々は,3つの重要な自然言語下流タスク,パート・オブ・音声タギング,名前付き親和性認識,質問応答を微調整し,評価する。
  論文  参考訳（メタデータ） (2023-01-25T07:26:54Z)
• Paraphrastic Representations at Scale [134.41025103489224]
  私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。 我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
  論文  参考訳（メタデータ） (2021-04-30T16:55:28Z)
• Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
  中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。 文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。 本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-04-15T02:36:49Z)
• From Universal Language Model to Downstream Task: Improving RoBERTa-Based Vietnamese Hate Speech Detection [8.602181445598776]
  汎用のRoBERTa言語モデルを特定のテキスト分類タスクであるベトナムのヘイト音声検出に適応させるパイプラインを提案する。 実験の結果,提案パイプラインの性能が著しく向上し,0.7221 f1のベトナム人ヘイトスピーチ検出キャンペーンが達成された。
  論文  参考訳（メタデータ） (2021-02-24T09:30:55Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。