論文の概要: MM-Eval: A Hierarchical Benchmark for Modern Mongolian Evaluation in LLMs

• arxiv url: http://arxiv.org/abs/2411.09492v1
• Date: Thu, 14 Nov 2024 14:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:25:22.537945
• Title: MM-Eval: A Hierarchical Benchmark for Modern Mongolian Evaluation in LLMs
• Title（参考訳）: MM-Eval: LLMにおける現代モンゴルの評価のための階層的ベンチマーク
• Authors: Mengyuan Zhang, Ruihui Wang, Bo Xia, Yuan Sun, Xiaobing Zhao,
• Abstract要約: 大規模言語モデル(LLM)は、高リソース言語では優れているが、モンゴル語のような低リソース言語では顕著な課題に直面している。 本稿では,これらの課題を,言語能力(構文と意味)と認知能力(知識と推論)に分類することで解決する。 これらの領域を体系的に評価するために,現代モンゴル語テキストブックIに基づく特殊なデータセットMM-Evalを開発した。
• 参考スコア（独自算出の注目度）: 3.2243649561631984
• License:
• Abstract: Large language models (LLMs) excel in high-resource languages but face notable challenges in low-resource languages like Mongolian. This paper addresses these challenges by categorizing capabilities into language abilities (syntax and semantics) and cognitive abilities (knowledge and reasoning). To systematically evaluate these areas, we developed MM-Eval, a specialized dataset based on Modern Mongolian Language Textbook I and enriched with WebQSP and MGSM datasets. Preliminary experiments on models including Qwen2-7B-Instruct, GLM4-9b-chat, Llama3.1-8B-Instruct, GPT-4, and DeepseekV2.5 revealed that: 1) all models performed better on syntactic tasks than semantic tasks, highlighting a gap in deeper language understanding; and 2) knowledge tasks showed a moderate decline, suggesting that models can transfer general knowledge from high-resource to low-resource contexts. The release of MM-Eval, comprising 569 syntax, 677 semantics, 344 knowledge, and 250 reasoning tasks, offers valuable insights for advancing NLP and LLMs in low-resource languages like Mongolian. The dataset is available at https://github.com/joenahm/MM-Eval.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高リソース言語では優れているが、モンゴル語のような低リソース言語では顕著な課題に直面している。 本稿では,これらの課題を,言語能力(構文と意味論)と認知能力(知識と推論)に分類することで解決する。 これらの領域を体系的に評価するために,現代モンゴル語テキストブックIに基づく特殊なデータセットであるMM-Evalを開発し,WebQSPおよびMGSMデータセットを充実させた。 Qwen2-7B-インストラクタ、GLM4-9b-chat、Llama3.1-8B-インストラクタ、GPT-4、DeepseekV2.5などのモデルに関する予備実験は、次のように明らかにした。 1)全てのモデルは、意味的タスクよりも構文的タスクにおいて、より深い言語理解のギャップを浮き彫りにした。 2) 知識タスクは,高リソースから低リソースのコンテキストに一般知識を移すことが可能であることを示唆した。 569の構文、677のセマンティクス、344の知識、250の推論タスクからなるMM-Evalのリリースは、モンゴル語のような低リソース言語でNLPとLLMを前進させるための貴重な洞察を提供する。 データセットはhttps://github.com/joenahm/MM-Eval.comで公開されている。

関連論文リスト

• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• AraSTEM: A Native Arabic Multiple Choice Question Benchmark for Evaluating LLMs Knowledge In STEM Subjects [0.6564819194719582]
  我々は、STEM科目におけるLarge Language Models (LLMs) の知識を評価することを目的とした、アラビア語多目的質問データセットであるAraSTEMを紹介する。 このデータセットはさまざまなレベルのトピックにまたがっており、高い精度を達成するためには、科学的アラビアの深い理解をモデルに示さなければならない。 以上の結果から, 様々なサイズの公開モデルがこのデータセットに苦慮し, より局所的な言語モデルの必要性を浮き彫りにしていることがわかった。
  論文  参考訳（メタデータ） (2024-12-31T17:45:12Z)
• On Limitations of LLM as Annotator for Low Resource Languages [0.4194295877935868]
  低リソース言語は、教師付き学習、アノテーション、分類といったタスクのための十分な言語データ、リソース、ツールが不足しているため、重大な課題に直面している。 この不足は正確なモデルやデータセットの開発を妨げるため、感情分析やヘイトスピーチ検出といった重要なNLPタスクの実行が困難になる。 このギャップを埋めるために、Large Language Models (LLM) は潜在的なアノテータの機会を提供する。
  論文  参考訳（メタデータ） (2024-11-26T17:55:37Z)
• From MTEB to MTOB: Retrieval-Augmented Classification for Descriptive Grammars [0.17205738196786996]
  モデルが言語文法からどのように情報を抽出し、分類できるかを評価するためのベンチマークのセットを紹介する。 ベンチマークは、WALSとGrambankの類型的特徴に焦点を当てた、言語家族間で248の言語に関する言語記述を含んでいる。 このベンチマークは、言語モデルの言語的特徴を正確に解釈し抽出するコンテキスト内能力を、初めて包括的に評価するものである。
  論文  参考訳（メタデータ） (2024-11-23T14:47:10Z)
• Data-Augmentation-Based Dialectal Adaptation for LLMs [26.72394783468532]
  本稿では, GMUNLPによるVarDial 2024におけるDialect-Copa共有タスクへの参加について述べる。 この課題は、南スラヴ語のマイクロディレクト上での大規模言語モデル(LLM)の常識推論能力を評価することに焦点を当てている。 本稿では,異なるタイプの言語モデルの強みを組み合わせ,データ拡張技術を活用してタスク性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-04-11T19:15:32Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• ChatGPT MT: Competitive for High- (but not Low-) Resource Languages [62.178282377729566]
  大規模言語モデル(LLM)は、機械翻訳(MT)を含む様々な言語タスクの実行を暗黙的に学習する。 MTコスト分析とともに,204言語を拡張した最初の実験的な証拠を提示する。 分析の結果,ChatGPTの相対的翻訳能力を決定する上で,言語リソースレベルが最も重要な特徴であることが判明した。
  論文  参考訳（メタデータ） (2023-09-14T04:36:00Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
  言語モデルは多言語言語モデル(MLLM)に拡張された。 知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。 我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-10-24T21:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。