論文の概要: !MSA at BAREC Shared Task 2025: Ensembling Arabic Transformers for Readability Assessment
- arxiv url: http://arxiv.org/abs/2509.10040v1
- Date: Fri, 12 Sep 2025 08:08:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-15 16:03:08.013857
- Title: !MSA at BAREC Shared Task 2025: Ensembling Arabic Transformers for Readability Assessment
- Title(参考訳): BAREC Shared Task 2025: Ensembling Arabic Transformer for Readability Assessment
- Authors: Mohamed Basem, Mohamed Younes, Seif Ahmed, Abdelrahman Moustafa,
- Abstract要約: アラビア細粒度読解性評価におけるBAREC 2025共有タスクのMSA当選システムを提案する。
我々のアプローチは、4つの相補的なトランスモデルの信頼度重み付けアンサンブルである。
システムは、文レベルでは87.5パーセントのQWK、文書レベルでは87.4%に達した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present MSAs winning system for the BAREC 2025 Shared Task on fine-grained Arabic readability assessment, achieving first place in six of six tracks. Our approach is a confidence-weighted ensemble of four complementary transformer models (AraBERTv2, AraELECTRA, MARBERT, and CAMeLBERT) each fine-tuned with distinct loss functions to capture diverse readability signals. To tackle severe class imbalance and data scarcity, we applied weighted training, advanced preprocessing, SAMER corpus relabeling with our strongest model, and synthetic data generation via Gemini 2.5 Flash, adding about 10,000 rare-level samples. A targeted post-processing step corrected prediction distribution skew, delivering a 6.3 percent Quadratic Weighted Kappa (QWK) gain. Our system reached 87.5 percent QWK at the sentence level and 87.4 percent at the document level, demonstrating the power of model and loss diversity, confidence-informed fusion, and intelligent augmentation for robust Arabic readability prediction.
- Abstract(参考訳): 我々は,6トラック中6トラックで1位を獲得し,粒度のアラビア可読性評価におけるBAREC 2025共有タスクのMSA当選システムを提案する。
AraBERTv2, AraELECTRA, MARBERT, CAMeLBERTの4種類の相補的トランスフォーマーモデルの信頼性重み付けアンサンブルであり, 様々な可読性信号の取得を行う。
厳密なクラス不均衡とデータ不足に対処するために、重み付けトレーニング、高度な前処理、我々の最強モデルに適合する themR corpus、Gemini 2.5 Flashによる合成データ生成を応用し、約10,000のレアレベルサンプルを追加しました。
ターゲットとした後処理ステップでは予測分布のスキューが修正され、QWK(Quadratic Weighted Kappa)が6.3%向上した。
我々のシステムは、文レベルで87.5パーセントのQWK、文書レベルで87.4%に達し、モデルと損失の多様性、信頼に富んだ融合、堅牢なアラビア可読性予測のためのインテリジェントな拡張の力を実証した。
関連論文リスト
- A Confidence-Diversity Framework for Calibrating AI Judgement in Accessible Qualitative Coding Tasks [0.0]
信頼性の多様性の校正は、アクセス可能なコーディングタスクの品質評価フレームワークである。
8つの最先端のLCMから5,680のコーディング決定を分析すると、自信はモデル間の合意を密接に追跡する。
論文 参考訳(メタデータ) (2025-08-04T03:47:10Z) - Advancing Dialectal Arabic to Modern Standard Arabic Machine Translation [22.369277951685234]
本稿では,レバンタ語,エジプト語,湾岸方言のDA-MSA翻訳の進展に寄与する2つの中核的貢献について述べる。
ゼロショット,チェーン・オブ・シント,提案手法であるAra-TEaR法を改良した。
微調整 LLM では、量子化された Gemma2-9B モデルが 49.88 の chrF++ スコアを獲得し、ゼロショット GPT-4o (44.58) を上回った。
論文 参考訳(メタデータ) (2025-07-27T14:37:53Z) - Handling Imbalanced Pseudolabels for Vision-Language Models with Concept Alignment and Confusion-Aware Calibrated Margin [56.37346003683629]
擬似ラベルを用いた下流タスクへの視覚言語モデル(VLM)の適用が注目されている。
主な障害は、VLMによって生成された擬似ラベルが不均衡になり、性能が低下する傾向があることである。
本稿では,概念アライメントと混乱を考慮したマージン機構を取り入れた新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-04T10:24:34Z) - SZTU-CMU at MER2024: Improving Emotion-LLaMA with Conv-Attention for Multimodal Emotion Recognition [65.19303535139453]
我々は,マルチモーダル感情認識におけるMER2024チャレンジのMER-NOISEとMER-OVトラックに対する勝利のアプローチを示す。
Emotion-LLaMAの高度な感情理解機能を利用して、ラベルなしサンプルの高品質なアノテーションを生成する。
MER-OVトラックでは,オープンボキャブラリアノテーションにEmotion-LLaMAを用いることで,GPT-4Vと比較して平均精度とリコールが8.52%向上した。
論文 参考訳(メタデータ) (2024-08-20T02:46:03Z) - Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。
拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
論文 参考訳(メタデータ) (2024-03-07T18:00:40Z) - How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。
我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。
GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
論文 参考訳(メタデータ) (2024-02-20T18:31:27Z) - TCE at Qur'an QA 2023 Shared Task: Low Resource Enhanced
Transformer-based Ensemble Approach for Qur'anic QA [0.0]
我々は,Qur'an QA 2023共有タスクA,Bに取り組むためのアプローチを提案する。
低リソースのトレーニングデータの課題に対処するため、我々は投票アンサンブルとともにトランスファーラーニングに頼っている。
我々は、さまざまなアーキテクチャと学習メカニズムを、アラビア語で事前訓練されたトランスフォーマーベースのモデルに採用しています。
論文 参考訳(メタデータ) (2024-01-23T19:32:54Z) - Towards a Competitive End-to-End Speech Recognition for CHiME-6 Dinner
Party Transcription [73.66530509749305]
本稿では,難しい場合であっても,ハイブリッドベースラインに近い性能を示すエンドツーエンドアプローチについて論じる。
CTC-Attention と RNN-Transducer のアプローチと RNN と Transformer のアーキテクチャを比較し,解析する。
RNN-Transducerをベースとしたベストエンド・ツー・エンドモデルでは、ビームサーチの改善とともに、LF-MMI TDNN-F CHiME-6 Challengeのベースラインよりも品質が3.8%向上した。
論文 参考訳(メタデータ) (2020-04-22T19:08:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。