論文の概要: Batayan: A Filipino NLP benchmark for evaluating Large Language Models

• arxiv url: http://arxiv.org/abs/2502.14911v1
• Date: Wed, 19 Feb 2025 07:03:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:20.821643
• Title: Batayan: A Filipino NLP benchmark for evaluating Large Language Models
• Title（参考訳）: Batayan: 大規模言語モデルを評価するためのフィリピンのNLPベンチマーク
• Authors: Jann Railey Montalan, Jimson Paulo Layacan, David Demitri Africa, Richell Isaiah Flores, Michael T. Lopez II, Theresa Denise Magsajo, Anjanette Cayabyab, William Chandra Tjhi,
• Abstract要約: Batayanは3つの主要な自然言語処理能力(NLP)にまたがる大規模言語モデル(LLM)を評価するために設計された総合的なベンチマークである。 我々の厳密でネイティブな話者主導のアノテーションプロセスは、フィリピンの複雑な形態的・統語的構造への流布と信頼を保証する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent advances in large language models (LLMs) have demonstrated remarkable capabilities on widely benchmarked high-resource languages; however, linguistic nuances of under-resourced languages remain unexplored. We introduce Batayan, a holistic Filipino benchmark designed to systematically evaluate LLMs across three key natural language processing (NLP) competencies: understanding, reasoning, and generation. Batayan consolidates eight tasks, covering both Tagalog and code-switched Taglish utterances. Our rigorous, native-speaker-driven annotation process ensures fluency and authenticity to the complex morphological and syntactic structures of Filipino, alleviating a pervasive translationese bias in existing Filipino corpora. We report empirical results on a variety of multilingual LLMs, highlighting significant performance gaps that signal the under-representation of Filipino in pretraining corpora, the unique hurdles in modeling Filipino's rich morphology and construction, and the importance of explicit Filipino language support and instruction tuning. Moreover, we discuss the practical challenges encountered in dataset construction and propose principled solutions for building culturally and linguistically-faithful resources in under-represented languages. We also provide a public benchmark and leaderboard as a clear foundation for iterative, community-driven progress in Filipino NLP.
• Abstract（参考訳）: 大規模言語モデル (LLM) の最近の進歩は、広くベンチマークされた高リソース言語において顕著な能力を示しているが、低リソース言語の言語ニュアンスについては未解明のままである。 バタヤンは3つの自然言語処理(NLP)能力(理解、推論、生成)にまたがるLLMを体系的に評価するために設計された総合的なフィリピンのベンチマークである。 Batayanは、タガログとコード変更されたタグリッシュ発話の両方をカバーする8つのタスクを統合する。 我々の厳密でネイティブな話者主導のアノテーションプロセスは、フィリピンの複雑な形態的・統語的構造への流布と信頼を保証し、既存のフィリピンのコーパスにおける広範に翻訳されるバイアスを緩和する。 フィリピンの多言語 LLM の実証実験結果を報告するとともに,フィリピン語の事前学習コーパスにおける表現不足,フィリピンの豊富な形態と構造をモデル化する上でのユニークなハードル,フィリピン語の明示的サポートと指導指導の重要性について述べる。 さらに,データセット構築において直面する実践的課題について考察し,表現不足言語における文化的・言語学的資源構築のための原則的ソリューションを提案する。 また、フィリピンのNLPにおける反復的でコミュニティ主導の進展の明確な基盤として、公開ベンチマークとリーダーボードも提供します。

関連論文リスト

• Filipino Benchmarks for Measuring Sexist and Homophobic Bias in Multilingual Language Models from Southeast Asia [0.3376269351435396]
  フィリピンのテキストを扱う事前訓練された言語モデルにおいて、性差別とアンチクイアバイアスの両方を評価するベンチマークを導入する。 ベンチマークは、英国偏見評価データセットの文化的適応による7,074の新たな課題ペアで構成されています。 多言語モデルの場合、特定の言語で学習したバイアスの程度は、モデルが暴露した言語における事前学習データ量に影響されることがわかった。
  論文  参考訳（メタデータ） (2024-12-10T08:31:52Z)
• Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages [55.36534539177367]
  本稿では,39言語にまたがる多様な6M命令データセットに基づいて訓練された多言語多言語多言語大言語モデル(MLLM)であるPangeaを紹介する。 P Pangeaは、多言語設定や多様な文化的コンテキストにおいて、既存のオープンソースモデルよりも大幅に優れています。 我々は、包括的で堅牢な多言語MLLMの開発を容易にするために、データ、コード、訓練されたチェックポイントを完全にオープンソースにしています。
  論文  参考訳（メタデータ） (2024-10-21T16:19:41Z)
• SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages [77.75535024869224]
  東南アジアの言語に合わせたSeaLLMsモデルファミリーの最新版SeaLLMs 3を紹介します。 SeaLLMs 3は、英語、中国語、インドネシア語、ベトナム語、タイ語、タガログ語、マレー語、ビルマ語、クメール語、ラオス語、タミル語、ジャワ語など、この地域で話される言語全般をカバーすることで、このギャップを埋めることを目指している。 我々のモデルは、世界的知識、数学的推論、翻訳、命令の追従といったタスクに優れており、同様の大きさのモデルで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-07-29T03:26:22Z)
• Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance [6.907734681124986]
  本稿では,多言語文脈における知識編集技術を検討することにより,言語的平等の必要性を戦略的に識別する。 Mistral, TowerInstruct, OpenHathi, Tamil-Llama, Kan-Llamaなどのモデルの性能を,英語,ドイツ語,フランス語,イタリア語,スペイン語,ヒンディー語,タミル語,カンナダ語を含む言語で評価した。
  論文  参考訳（メタデータ） (2024-06-17T01:54:27Z)
• A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [51.8203871494146]
  LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
  論文  参考訳（メタデータ） (2024-05-17T17:47:39Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• BasahaCorpus: An Expanded Linguistic Resource for Readability Assessment in Central Philippine Languages [8.64545246732563]
  我々は,フィリピンの低資源言語における可読性評価のためのコーパスとベースラインモデルの拡張を目的としたイニシアチブの一環として,BasahaCorpusを導入・リリースする。 私たちは、Hiligaynon、Minasbate、Karay-a、Rinconadaで書かれた短編物語のコーパスをまとめました。 本稿では,家系木に言語を配置し,利用可能なトレーニングデータの量を増やす階層型言語間モデリング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T21:05:20Z)
• CebuaNER: A New Baseline Cebuano Named Entity Recognition Model [1.5056924758531152]
  本稿ではCebuaNERについて紹介する。CebuaNERはCebuano言語における名前付きエンティティ認識のための新しいベースラインモデルである。 モデルを構築するために、4000以上のニュース記事を収集し、注釈を付けました。 その結果,新しいベースラインモデルとして有望な結果が得られ,すべてのエンティティタグに対して70%以上の精度,リコール,F1が達成された。
  論文  参考訳（メタデータ） (2023-10-01T14:09:42Z)
• Automatic Readability Assessment for Closely Related Languages [6.233117407988574]
  この研究は、相互の知性や言語関連度などの言語的側面が、低リソース環境でのARAをどのように改善できるかに焦点を当てる。 フィリピン・タガログ語・ビコル語・セブアーノ語の3言語で書かれた短い記事を収集し,読みやすさ評価モデルを構築した。 本研究は, 相互信頼度の高い言語にn-gram重み付けを適用した新たな機能であるCrossNGOの導入により, ARAモデルの性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-05-22T20:42:53Z)
• All You Need In Sign Language Production [50.3955314892191]
  言語認識と生産のサインは、いくつかの重要な課題に対処する必要があります。 本稿では,難聴文化,難聴センター,手話の心理的視点について紹介する。 また、SLPのバックボーンアーキテクチャや手法を簡潔に紹介し、SLPの分類について提案する。
  論文  参考訳（メタデータ） (2022-01-05T13:45:09Z)
• Including Signed Languages in Natural Language Processing [48.62744923724317]
  署名された言語は、聴覚障害者や難聴者のコミュニケーションの主な手段です。 このポジショニングペーパーは、NLPコミュニティに対して、社会的および科学的影響の高い研究領域として署名された言語を含めるよう求めている。
  論文  参考訳（メタデータ） (2021-05-11T17:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。