Fugu-MT 論文翻訳(概要): HelaBERT: Enhancing Sinhala Language Understanding with Dual Pooling Classification Head

論文の概要: HelaBERT: Enhancing Sinhala Language Understanding with Dual Pooling Classification Head

arxiv url: http://arxiv.org/abs/2608.22922v1
Date: Mon, 24 Aug 2026 07:58:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-25 13:29:43.957449
Title: HelaBERT: Enhancing Sinhala Language Understanding with Dual Pooling Classification Head
Title（参考訳）: HelaBERT: デュアルプール分類ヘッドによるSinhala言語理解の強化
Abstract要約: HelaBERTは、Sinhalaテキストのトークン10億個をスクラッチからトレーニングしたBERTベースの2つのマスク付き言語モデルのファミリーである。両モデルを4つの下流Sinhalaテキスト分類タスクで評価する。二重プーリング分類ヘッドを提案し,それを4つのタスクにまたがって体系的に評価する。
参考スコア（独自算出の注目度）: 1.256381443503838
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present HelaBERT, a family of two BERT-based masked language models pre-trained from scratch on approximately 1 billion tokens of Sinhala text sourced from MADLAD-400, CulturaX, and a custom corpus comprising news articles, Sinhala Wikipedia, and web crawl data. HelaBERT-Small (~23.3M parameters, 6 layers) and HelaBERT-Large (~110M parameters, 12 layers) both use a SentencePiece Unigram tokenizer (vocabulary size 32,000) tailored to Sinhala's agglutinative morphology and complex script. We evaluate both models on four downstream Sinhala text classification tasks: news category classification, news source classification, sentiment analysis, and writing style classification, using 5 independent seed runs with stratified 80/20 train/test splits. We additionally propose a dual pooling classification head and evaluate it systematically across all four tasks, finding consistent improvements on sentiment analysis and a moderate gain on news category classification for HelaBERT-Small, while the standard [CLS]-linear head remains competitive on news source classification, a headline-level task with short average input length. We release both models to support further research in Sinhala NLP.
Abstract（参考訳）: 我々は,MADLAD-400,CulturaXから得られた約10億個のSinhalaテキストのトークンと,ニュース記事,Sinhala Wikipedia,Webクロールデータからなるカスタムコーパスをスクラッチから事前訓練した2つのBERTベースのマスク付き言語モデルのファミリーであるHelaBERTを紹介する。 HelaBERT-Small (~23.3Mパラメータ、6層) と HelaBERT-Large (~110Mパラメータ、12層) はどちらもシンハラの凝集形態と複雑なスクリプトに合わせたSentencePiece Unigramトークンー(語彙サイズ32,000)を使用している。我々は,ニュースカテゴリ分類,ニュースソース分類,感情分析,書字スタイル分類という4つの下流Sinhalaテキスト分類タスクにおいて,階層化された80/20列車/テストスプリットを用いた5つの独立したシード実行を用いて,両モデルを評価した。さらに,HellaBERT-Small のニュースカテゴリ分類において,感情分析における一貫した改善と適度な利得を見出すとともに,標準の[CLS] 線形ヘッドは,平均入力長が短い見出しレベルタスクであるニュースソース分類において競争力を維持している。 Sinhala NLPのさらなる研究を支援するため、両モデルをリリースする。

関連論文リスト

L3Cube-MahaNews: News-based Short Text and Long Document Classification Datasets in Marathi [0.4194295877935868]
L3Cube-MahaNewsは,ニュースの見出しや記事に焦点をあてたマラタイ語テキスト分類コーパスである。このコーパスは最大規模のマラーティコーパスであり、1.05L以上の記録を12のカテゴリに分類している。異なる文書の長さに対応するため、MahaNewsは短文、長文、中段落用に特別に設計された3つの教師付きデータセットで構成されている。
論文参考訳（メタデータ） (2024-04-28T15:20:45Z)
Empowering Interdisciplinary Research with BERT-Based Models: An Approach Through SciBERT-CNN with Topic Modeling [0.0]
本稿では,SciBERTモデルとCNNを用いて,学術論文を体系的に分類する手法を提案する。 CNNは、畳み込みとプーリングを使用して特徴抽出を強化し、次元を減少させる。
論文参考訳（メタデータ） (2024-04-16T05:21:47Z)
T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
論文参考訳（メタデータ） (2023-06-08T07:33:22Z)
Multilevel Sentence Embeddings for Personality Prediction [0.0]
文の階層構造と極性に応じて,文をマッピングする2段階のアプローチを提案する。我々の単一モデルアプローチは、複数のクラス固有の分類モデルよりも優れていることを示す。
論文参考訳（メタデータ） (2023-05-09T20:02:18Z)
A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文参考訳（メタデータ） (2022-06-19T08:55:07Z)
A Variational Hierarchical Model for Neural Cross-Lingual Summarization [85.44969140204026]
言語間の要約(英: cross-lingual summarization)とは、ある言語の文書を別の言語の要約に変換することである。 CLSに関する既存の研究は主にパイプライン手法の利用やエンドツーエンドモデルの共同トレーニングに重点を置いている。条件付き変分自動エンコーダに基づくCLSタスクの階層モデルを提案する。
論文参考訳（メタデータ） (2022-03-08T02:46:11Z)
Hierarchical Text Classification of Urdu News using Deep Neural Network [0.0]
本稿では,ウルドゥー語におけるニュースの階層的テキスト分類のためのディープラーニングモデルを提案する。スポーツ、テクノロジー、エンターテイメントという8つのジャンルに属する8つのオンラインニュースサイトから51,325の文章で構成されている。
論文参考訳（メタデータ） (2021-07-07T11:06:11Z)
Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models [62.41139712595334]
中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
論文参考訳（メタデータ） (2021-04-15T02:36:49Z)
Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks [61.23408995934415]
テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
論文参考訳（メタデータ） (2021-02-23T04:14:34Z)
Sentiment Analysis for Sinhala Language using Deep Learning Techniques [1.0499611180329804]
本稿では,RNN,LSTM,Bi-LSTM,カプセルネットワークなどの標準シーケンスモデルの利用について,より包括的な研究を行った。この4つのクラスに注釈を付けた15059年のシンハラのニュースコメントと、948万のトークンからなるコーパスのデータセットが公開されている。
論文参考訳（メタデータ） (2020-11-14T12:02:30Z)
Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
論文参考訳（メタデータ） (2020-06-22T03:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。