論文の概要: AraSSM: A bidirectional state-space encoder for Arabic masked language modeling
- arxiv url: http://arxiv.org/abs/2608.08256v1
- Date: Sat, 08 Aug 2026 17:33:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.750139
- Title: AraSSM: A bidirectional state-space encoder for Arabic masked language modeling
- Title（参考訳）: AraSSM:アラビア語マスキング言語モデリングのための双方向状態空間エンコーダ
- Abstract要約: AraSSMは、アラビア語のウィキペディアとCulturaXテキストを組み合わせたコーパス上で、マスク付き言語モデリングによって事前訓練された双方向のMambaエンコーダである。
アラビア語ウィキペディアとCulturaXテキストを組み合わせたコーパス上で、マスク付き言語モデリングにより事前訓練された双方向のマンバエンコーダであるAraSSMを紹介する。
- 参考スコア（独自算出の注目度）: 0.19921702137386235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained Transformer encoders such as AraBERT, MARBERT, and CAMeLBERT have become the standard backbone for Arabic natural language understanding, but their self-attention mechanism scales quadratically with sequence length, which limits efficiency on long documents. Mamba, a selective state-space model (SSM), offers linear-time sequence modeling as a competitive alternative to attention, yet no dedicated bidirectional Mamba encoder pretrained specifically for Arabic currently exists. We introduce AraSSM, a bidirectional Mamba encoder pretrained via masked language modeling on a corpus combining Arabic Wikipedia and CulturaX text, trained end-to-end on four consumer-grade NVIDIA RTX 2080Ti GPUs (11GB) over approximately ten days. We evaluate AraSSM by fine-tuning on four established Arabic NLU benchmarks covering sentiment classification (HARD), named entity recognition (ANERcorp), extractive question answering (ARCD), and natural language inference (XNLI-ar), following the per-task evaluation protocol introduced by AraBERT, and report results as mean +/- standard deviation across three fine-tuning seeds. AraSSM matches or exceeds published base-sized Transformer baselines on sentiment classification (96.37 +/- 0.03% accuracy on HARD), is competitive on extractive QA (32.19 +/- 1.07 EM, 63.79 +/- 0.25 F1 on ARCD) and named entity recognition (81.54 +/- 0.30 entity-level F1 on ANERcorp), and trails the base-sized Transformer range on natural language inference (72.83 +/- 0.07% accuracy on XNLI-ar), despite being trained entirely from scratch on consumer hardware rather than large-scale accelerator clusters.
- Abstract（参考訳）: AraBERT、MARBERT、CAMeLBERTといった事前訓練されたトランスフォーマーエンコーダは、アラビア語の自然言語理解の標準バックボーンとなっているが、その自己保持機構は、長いドキュメントの効率を抑えるために、シーケンス長と2倍にスケールする。
選択状態空間モデル(SSM)であるMambaは、注意力の代替として線形時間シーケンスモデリングを提供するが、アラビア語用に事前訓練された専用双方向のMambaエンコーダは存在しない。
アラビア語ウィキペディアとCulturaXテキストを組み合わせたコーパス上で、マスク付き言語モデリングによって事前訓練された双方向のMambaエンコーダであるAraSSMを紹介し、約10日間にわたって4つのコンシューマグレードのNVIDIA RTX 2080Ti GPU(11GB)でエンドツーエンドにトレーニングを行った。
我々は、AraBERTが導入したタスクごとの評価プロトコルに従って、感情分類(HARD)、名前付きエンティティ認識(ANERcorp)、抽出質問応答(ARCD)、自然言語推論(XNLI-ar)の4つの確立されたアラビアNLUベンチマークを微調整し、その結果を3つの微調整種子の平均+/-標準偏差として報告する。
AraSSMは、感情分類に基づくベースサイズのトランスフォーマーベースライン(HARDの96.37 +/- 0.03%精度)、抽出QA(32.19 +/-1.07 EM, 63.79 +/- 0.25 F1)、名前付きエンティティ認識(ANERcorpの81.54 +/- 0.30エンティティレベルF1)、自然言語推論におけるベースサイズのトランスフォーマーレンジ(XNLI-arの72.83 +/- 0.07%精度)に匹敵する。
関連論文リスト
- A Sovereign, Open-Source Foundation Model for German and English [50.08096276509294]
Soofi S 30B-A3B(ソフィー S 30B-A3B)は、ドイツのマムバ・トランスフォーマー・ファウンデーション・モデルである。
そのハイブリッド設計はトークン毎に30Bパラメータの3Bのみを起動し、コンテキストが大きくなるにつれて推論キャッシュをほぼ一定に保ちます。
論文 参考訳（メタデータ） (2026-07-10T13:51:41Z) - StereoFactory: A Unified Merging Framework for Robust Stereo Matching [61.973843344605655]
ステレオマッチングは、大規模なデータセットでトレーニングされた基礎モデルを通じて進歩しているが、このパラダイムはスケーラビリティのボトルネックに悩まされている。
モデルマージは、ソースチェックポイントが利用可能になった後、特別なモデルからの知識を統合することで、スケーラブルなポストホックな代替手段を提供する。
本稿では,適応モデルマージのための粗大な進化的フレームワークであるStereoFactoryを提案する。
論文 参考訳（メタデータ） (2026-06-16T03:36:59Z) - MentalMARBERT: Domain-Adaptive Pre-training and Two-Stage Fine-Tuning for Arabic Mental Health Disorders Detection [0.7039739305668745]
本研究では、アラビア語のメンタルヘルステキスト分類のための2段階の枠組みを提案する。
フェーズ1では、3つのアラビア語事前訓練された言語モデルがドメイン適応およびタスク適応事前訓練を受けている。
フェーズ2では、選択されたモデルは、完全な微調整と低ランク適応の4つの構成で評価される。
論文 参考訳（メタデータ） (2026-06-10T20:20:41Z) - RightNow-Arabic-0.5B-Turbo: An Open Sub-1B Arabic Language Model via Vocabulary Injection and Edge-First Deployment [0.0]
我々はQwen2.5-0.5B上に構築された518Mパラメータのアラビア語専用デコーダであるRightNow-Arabic-0.5B-Turboを提案する。
パイプラインには平均サブトークンで27,032個のアラビアトークンが追加されている。
マージされたモデルは平均精度35.9%に達し、全ての同クラスのオープンモデルを打ち負かし、1/18パラメータでSILMA-9Bの平均の67%を回復する。
論文 参考訳（メタデータ） (2026-04-10T00:56:50Z) - Hybrid CNN-Transformer Architecture for Arabic Speech Emotion Recognition [0.0]
本稿では,ハイブリッドCNN-Transformerアーキテクチャに基づくアラビア音声感情認識(SER)システムを提案する。
提案モデルの精度は97.8%、マクロF1スコアは0.98である。
論文 参考訳（メタデータ） (2026-03-28T16:11:56Z) - GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders: Insights from 82-Class Arabic Medical Classification [0.0]
本稿では,82のカテゴリーにまたがるアラビア医学テキスト分類のためのシステム記述について述べる。
このアプローチを、多言語およびアラビア語固有のエンコーダと、大規模因果デコーダのセットに対してベンチマークする。
特殊な双方向エンコーダは 因果的デコーダよりも 正確にセマンティック境界を捉えている
論文 参考訳（メタデータ） (2026-02-17T16:13:08Z) - Qwen3-ASR Technical Report [71.87071808763484]
2つの強力なオールインワン音声認識モデルと、新しい非自己回帰音声強制アライメントモデルを含むQwen3-ASRファミリを紹介する。
Qwen3-ASR-1.7BとQwen3-ASR-0.6Bは、言語識別と52の言語および方言のASRをサポートするASRモデルである。
論文 参考訳（メタデータ） (2026-01-29T06:58:13Z) - TabiBERT: A Large-Scale ModernBERT Foundation Model and A Unified Benchmark for Turkish [0.7233065479782755]
TabiBERTはModernBERTアーキテクチャをベースとしたモノリンガルのトルコ語エンコーダである。
8,192トークンのコンテキスト長(16xオリジナルBERT)をサポートし、最大2.65倍のスピードアップを実現し、GPUメモリ使用量を削減する。
タビベンチで77.58を獲得し、BERTurkを1.62ポイント上回り、8つのカテゴリーのうち5つの最先端技術を確立した。
論文 参考訳（メタデータ） (2025-12-28T20:18:22Z) - mmBERT: A Modern Multilingual Encoder with Annealed Language Learning [57.58071656545661]
mmBERTは、多言語テキストの3Tトークンで事前訓練されたエンコーダのみの言語モデルである。
データに1700以上の低リソース言語を追加しています。
分類および検索タスクにおける従来のモデルよりも, mmBERTの方が優れていたことを示す。
論文 参考訳（メタデータ） (2025-09-08T17:08:42Z) - LLM Encoder vs. Decoder: Robust Detection of Chinese AI-Generated Text with LoRA [4.104443734934105]
我々は、エンコーダベースのトランスフォーマー(中国のBERTラージとRoBERTa-wwm-ext-large)、デコーダのみのLCM(アリババのQwen2.5-7B/Deep-R1-Distill-Qwen-7B)、およびFastTextベースラインを比較した。
実験により、エンコーダモデルはトレーニングデータをほとんど記憶しているが、分散シフト時に顕著な性能劣化を被っていることが明らかになった。
論文 参考訳（メタデータ） (2025-08-31T07:51:22Z) - The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留する方法を示す。
結果として得られたハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。
また,Mambaとハイブリッドモデルの推論速度を高速化するハードウェア対応投機的復号アルゴリズムを導入する。
論文 参考訳（メタデータ） (2024-08-27T17:56:11Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。