論文の概要: Evaluating Jev on Arabic: Comparing Decision Models and LLMs Across Arabic Tasks and Dialects
- arxiv url: http://arxiv.org/abs/2611.10802v2
- Date: Thu, 12 Nov 2026 00:13:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.872388
- Title: Evaluating Jev on Arabic: Comparing Decision Models and LLMs Across Arabic Tasks and Dialects
- Title(参考訳): アラビア語におけるJevの評価--アラビア語課題と方言における決定モデルとLLMの比較
- Abstract要約: 47の意思決定モデルと20の大規模言語モデルを含む67のシステムを評価した。
Jev 1.14.0 は 100 倍のスケールで 69.24 のタスク・プライマリ・メトリックを達成している。
Jevのバージョン間の相対的なパフォーマンスとゲインは、タスクファミリによって異なる。
- 参考スコア(独自算出の注目度): 2.6028642197385845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How does Jev compare with other systems on Arabic tasks, and how does its performance change between Modern Standard Arabic (MSA) and dialects? We evaluate 67 systems, including 47 decision models and 20 large language models (LLMs), on 43 tasks across 9 task families using a shared zero-shot protocol. The Arabic-focused frozen suite includes English controls in three parallel resources, which we also remove in a separate descriptive comparison. Jev 1.14.0 achieves a mean task-primary metric of 69.24 on a scale multiplied by 100, compared with 68.77 for Jev 1.13.0 and 71.81 for Gemma-4-31B, the highest-scoring system on this aggregate. Removing the recorded English controls, repeated cross-task items or both leaves the full system order unchanged. Relative performance and gains between Jev versions vary across task families. In content-matched comparisons within Jev 1.14.0, pooled dialect-minus-MSA accuracy gaps range from -7.94 to -0.35 percentage points across four datasets; dialect-specific results show larger variation, and SIB-200's source-clustered interval includes zero. Paired contrasts with Jev 1.13.0, Gemma-4-31B and Jais-2-8B show a larger Palestinian banking penalty for Jev 1.14.0 than for either LLM under simultaneous uncertainty; the other gap contrasts remain inconclusive. These descriptive findings show why aggregate scores should be read alongside task-family results, coverage and matched language comparisons. They do not establish a general model ranking for dialect robustness or explain the causes of the observed gaps.
- Abstract(参考訳): Jevはアラビア語のタスクに関する他のシステムとどのように比較し、現代標準アラビア語(MSA)と方言のパフォーマンスはどのように変化しますか?
47の意思決定モデルと20の大規模言語モデル(LLM)を含む67のシステムを、共通ゼロショットプロトコルを用いて、9つのタスクファミリーにわたる43のタスクに対して評価する。
アラビア語に焦点を当てたフリーズスイートには3つの並列リソースの英語コントロールが含まれています。
Jev 1.14.0 は Jev 1.13.0 では 68.77 であり、Gemma-4-31B では 71.81 である。
記録された英語コントロールを取り除いたり、クロスタスクアイテムを繰り返したり、両方がシステム全体の順序を変更せずにすむ。
Jevのバージョン間の相対的なパフォーマンスとゲインは、タスクファミリによって異なる。
Jev 1.14.0内のコンテントマッチング比較では、4つのデータセットで7.94から0.35ポイントの精度ギャップがあり、方言固有の結果は大きなばらつきを示し、SIB-200のソースクラスター間隔はゼロである。
Jev 1.13.0、Gemma-4-31B、Jais-2-8Bと対照的に、Jev 1.14.0のパレスチナ銀行の罰金は、同時不確実性の下でのLLMよりも大きい。
これらの記述的な知見は,集合スコアがタスク・ファミリーの結果,カバレッジ,および一致した言語比較とともに読み取るべき理由を示している。
彼らは方言の頑健さをランク付けする一般的なモデルを確立したり、観察されたギャップの原因を説明することはしない。
関連論文リスト
- Zuse: A Decision Model for European Languages [0.0]
決定モデルは文書を読み取って、テキストを生成する代わりに、固定されたオプションセットの確率を返す。
いくつかは2026年に登場したが、英語以外では発表されていない。
フリーズされたオープンウェイトベース上で低ランクアダプタとポインタヘッドをトレーニングする3つの決定モデルであるZuseについて説明する。
論文 参考訳(メタデータ) (2026-11-04T09:45:24Z) - Almieyar: A Culturally Grounded Benchmark for Multi-Dialect Arabic Speech Recognition [5.453783297006094]
GPT-4o-transcribe、Voxtral-Mini-4B、Fanar-STT-LF、Whisper、SeamlessM4T-v2、wav2vec2ベースのモデルを含む12の最先端ASRシステムのゼロショットをベンチマークする。
GPT-4o-transcribeはWER全体の35.0%で最低であり、Voxtral-Mini-4B、Fanar-STT-LF、Whisper-Large-v3はそれぞれ41.1%、45.9%、49.5%となっている。
論文 参考訳(メタデータ) (2026-09-28T16:29:11Z) - AlexandriaX 2026: The First Shared Task on Dialectal Arabic Machine Translation [65.18574662565511]
アレクサンドリアX 2026 アラビア語 MT の共有タスクは、3つのサブタスクを通じて課題に対処する。
Subtask 1の最良のシステムは、制約のないトラックで30.42 spBLEU、制約のないトラックで33.49 spBLEUを達成した。
その結果、明示的な方言モデリング、文脈認識生成、検索と再ランク付け、およびMT誤り解析のための特殊なアプローチの利点が浮き彫りになった。
論文 参考訳(メタデータ) (2026-09-19T05:59:30Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand [0.0]
従来のベンチマークでは、コンテンツ、質問、参照回答、モデル、評価単位定数を保持しながら言語を分離することはめったにない。
言語間ギャップ(CLCG)を,同じ内容や疑問が英語ではなく対象言語で提示される場合の応答品質の低下として定義する。
論文 参考訳(メタデータ) (2026-08-06T18:45:16Z) - Language in Vivo vs. in Silico: Size Matters but Larger Language Models Still Do Not Comprehend Language on a Par with Humans Due to Impenetrable Semantic Reference [1.8434042562191815]
本研究では,人間とモデルの違いがモデルサイズに寄与するかどうかを判断する上で,モデルスケーリングが果たす役割について検討する。
アナフォラ, 中心埋め込み, 比較, 負極性を含む文法判断タスクにおいて, 3つの大言語モデル(LLM)を検証した。
結果,ChatGPT-4の精度は,ChatGPT-4の精度が76%に対して80%であったのに対し,ChatGPT-4の精度は1つのタスク条件,すなわち文法文でのみ優れていた。
論文 参考訳(メタデータ) (2024-04-23T10:09:46Z) - ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。
我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。
35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文 参考訳(メタデータ) (2024-02-20T09:07:41Z) - Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。
GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。
多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
論文 参考訳(メタデータ) (2023-02-17T14:46:38Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳(メタデータ) (2021-12-20T16:52:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。