論文の概要: Domain-specific Pretraining Profile and Transformer Performance: Evidence from Modeling Digital Pragmatics in Arabic-English Code-switching

• arxiv url: http://arxiv.org/abs/2609.14571v1
• Date: Sun, 13 Sep 2026 14:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.856329
• Title: Domain-specific Pretraining Profile and Transformer Performance: Evidence from Modeling Digital Pragmatics in Arabic-English Code-switching
• Title（参考訳）: ドメイン固有の事前学習プロファイルとトランスフォーマーのパフォーマンス:アラビア・英語のコードスイッチングにおけるデジタルプラグマティクスのモデル化から
• Abstract要約: 本研究は、アラビア語と英語のコード交換談話におけるデジタルプラグマティクスのモデリングにおけるトランスフォーマー性能におけるドメイン固有事前学習プロファイル(DSPP)の役割を強調した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This study highlights the role of domain-specific pretraining profile (DSPP) in Transformer performance for modeling digital pragmatics in Arabic-English code-switched discourse. It evaluates MARBERT and XLM-R(oBERTa), with BERT serving as a general-purpose baseline. The models were evaluated on their ability to classify context-sensitive pragmatic functions in code-switched social-media discourse. 11695 unique X posts were collected via Python and utilized for the study. The study employs a quantitative and qualitative NLP approach, following a supervised pipeline. Findings unveil that MARBERT consistently surpasses XLM-R with validation Macro F1 increasing from 0.39 to 0.84 and validation loss decreasing from 0.55 to 0.19. On an independent test set, it achieved 0.96 accuracy, 0.83 macro precision, 0.87 macro recall, and 0.85 Macro F1, while XLM-R achieved 0.92 test accuracy but a substantially lower Macro F1 of 0.52. This was also supported by class-level performance where MARBERT outperforms XLM-R considerably with F1 improvements ranging from +0.33 to +0.60, demonstrating a clear advantage in modeling Arabic digital pragmatics. The study concludes that Transformer performance depends more on DSPP than multilingual coverage alone, as the latter does not guarantee optimal performance on a highly specialized pragmatic classification task.
• Abstract（参考訳）: 本研究は、アラビア語と英語のコード交換談話におけるデジタルプラグマティクスのモデリングにおけるトランスフォーマー性能におけるドメイン固有事前学習プロファイル(DSPP)の役割を強調した。 MARBERTとXLM-R(oBERTa)を評価し、BERTは汎用ベースラインとして機能する。 これらのモデルは、コード変更によるソーシャルメディアの会話において、文脈に敏感な実用的関数を分類する能力に基づいて評価された。 11695のユニークなXポストがPython経由で収集され、研究に使用された。 この研究は、教師付きパイプラインに続く定量的で質的なNLPアプローチを採用している。 MARBERT は XLM-R を一貫して上回り、Macro F1 は 0.39 から 0.84 に増加し、検証損失は 0.55 から 0.19 に減少した。 独立したテストセットでは、0.96の精度、0.83のマクロ精度、0.87のマクロリコール、0.85のマクロF1を達成し、XLM-Rは0.92のテスト精度を達成したが、より低いマクロF1は0.52である。 MARBERTは+0.33から+0.60までのF1の改良でXLM-Rをかなり上回り、アラビアのデジタルプラグマティクスのモデリングにおいて明らかな優位性を示している。 本研究は,トランスフォーマーの性能が多言語カバレッジのみよりもDSPPに依存していることを結論付けている。

関連論文リスト

• BERT-based Models vs. Large Language Models for Low-Resource Named Entity Recognition: A Comparative Study on Marathi [2.584263027095689]
  MahaNERデータセットのさまざまなバリエーションについて、MahaBERT-v2を微調整します。 すべてのモデルは、精度、リコール、F1スコアの標準メトリクスを使用して、Marathi NERテストデータセットで評価される。
  論文  参考訳（メタデータ） (2026-07-25T19:40:58Z)
• Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning [43.24339861841546]
  本稿では,CVE-linked データセット上でのデコーダ型言語モデル (phi/phi-2 with LoRA) の微調整について検討する。 本研究では,ウィンドウオンリーおよび累積学習,リプレイベースライン,正規化ベースバリアントを含む8つの連続学習戦略を評価する。 ハイブリッドCASRはベースラインと比較してウィンドウ当たりのトレーニング時間を約17%削減する一方、累積トレーニングは15.9倍の計算コストでF1をわずかに増加させる(0.661)。
  論文  参考訳（メタデータ） (2026-02-27T09:13:23Z)
• Qwen3-ASR Technical Report [71.87071808763484]
  2つの強力なオールインワン音声認識モデルと、新しい非自己回帰音声強制アライメントモデルを含むQwen3-ASRファミリを紹介する。 Qwen3-ASR-1.7BとQwen3-ASR-0.6Bは、言語識別と52の言語および方言のASRをサポートするASRモデルである。
  論文  参考訳（メタデータ） (2026-01-29T06:58:13Z)
• OR-R1: Automating Modeling and Solving of Operations Research Optimization Problem via Test-Time Reinforcement Learning [44.346973471913856]
  本稿では,自動最適化のためのデータ効率トレーニングフレームワークOR-R1を提案する。 実験の結果、OR-R1は平均解法精度が67.7%の最先端性能を達成していることがわかった。
  論文  参考訳（メタデータ） (2025-11-12T08:05:31Z)
• Hope Speech Detection in Social Media English Corpora: Performance of Traditional and Transformer Models [2.137286893609844]
  本提案では,学習データセットを学習,開発,テストセットとして,従来の機械学習モデルと微調整変換器の評価を行う。 トランスフォーマーモデルはより良い結果をもたらし、最良のモデルは重み付き精度が0.82、重み付きリコールが0.80、重み付きF1が0.79、マクロF1が0.79、精度が0.80に達した。
  論文  参考訳（メタデータ） (2025-10-27T17:53:40Z)
• ReasonFlux-PRM: Trajectory-Aware PRMs for Long Chain-of-Thought Reasoning in LLMs [75.72672339168092]
  本稿では,新しいトラジェクトリ対応PRMであるReasonFlux-PRMを紹介し,トラジェクトリ応答型推論トレースの評価を行う。 ReasonFlux-PRMはステップレベルとトラジェクトリレベルの両方の監視機能を備えており、構造化された連鎖データと整合した微粒な報酬割り当てを可能にする。 得られたReasonFlux-PRM-7Bは、教師付き微調整で平均12.1%、強化学習で4.5%、テスト時間スケーリングで6.3%向上した。
  論文  参考訳（メタデータ） (2025-06-23T17:59:02Z)
• R-PRM: Reasoning-Driven Process Reward Modeling [53.06844294668382]
  プロセス・リワード・モデル(Process Reward Models, PRM)は、各推論ステップを評価することによって、有望なソリューションとして登場した。 既存のPRMは評価スコアを直接出力し、学習効率と評価精度の両方を制限する。 推論駆動プロセスリワードモデリング(R-PRM)を提案する。 R-PRMは限られたアノテーションからシードデータを生成し、効果的にモデルの推論能力をブートストラップします。
  論文  参考訳（メタデータ） (2025-03-27T09:23:08Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Comparing Hyper-optimized Machine Learning Models for Predicting Efficiency Degradation in Organic Solar Cells [38.647921189039934]
  本研究は,有機太陽電池 (OSC) の電力変換効率 (PCE) に苦しむ時間的劣化を表現するための機械学習モデルを提案する。 製造プロセスと環境条件の両方に関して最大7変数を含む996項目のデータベースを180日間以上作成しました。 一方、根平均二乗誤差(RMSE)、二乗誤差(SSE)の和、および平均絶対誤差(MAE)>1%の目標値であるPCEは、係数決定(R2)の値に達した。
  論文  参考訳（メタデータ） (2024-03-29T22:05:26Z)
• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Low-resource classification of mobility functioning information in clinical sentences using large language models [0.0]
  本研究は,臨床ノートから機能的情報の存在を正確に識別する,公開可能な大規模言語モデル(LLM)の能力を評価するものである。 我々は,n2c2臨床ノートから算出したモビリティNERデータセットから,1000文のバランスの取れたバイナリ分類データセットを収集した。
  論文  参考訳（メタデータ） (2023-12-15T20:59:17Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
  我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。 文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
  論文  参考訳（メタデータ） (2022-10-23T16:27:31Z)
• HinglishNLP: Fine-tuned Language Models for Hinglish Sentiment Detection [0.0]
  この研究は感情分析に2つの一般的なアプローチを加えている。 NB-SVMはRoBERTaを6.2%(相対)F1で破った。 最高の演奏モデルは、0.707のF1を達成する多数投票アンサンブルである。
  論文  参考訳（メタデータ） (2020-08-22T12:01:44Z)
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
  2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。 これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
  論文  参考訳（メタデータ） (2020-06-05T19:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。