論文の概要: CultranAI at PalmX 2025: Data Augmentation for Cultural Knowledge Representation
- arxiv url: http://arxiv.org/abs/2508.17324v1
- Date: Sun, 24 Aug 2025 12:11:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 18:43:45.467825
- Title: CultranAI at PalmX 2025: Data Augmentation for Cultural Knowledge Representation
- Title(参考訳): CultranAI at PalmX 2025: Data Augmentation for Cultural Knowledge Representation (英語)
- Authors: Hunzalah Hassan Bhatti, Youssef Ahmed, Md Arid Hasan, Firoj Alam,
- Abstract要約: 我々のシステムであるCultranAIは、アラビア文化知識表現のための大規模言語モデル(LLM)のデータの増大とLoRA微調整に焦点を当てた。
タスクの最高の性能モデルを特定するために、いくつかのLCMをベンチマークした。
実験の結果,Fanar-1-9B-Instructモデルが最も高い性能を示した。
- 参考スコア(独自算出の注目度): 7.136392589167225
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we report our participation to the PalmX cultural evaluation shared task. Our system, CultranAI, focused on data augmentation and LoRA fine-tuning of large language models (LLMs) for Arabic cultural knowledge representation. We benchmarked several LLMs to identify the best-performing model for the task. In addition to utilizing the PalmX dataset, we augmented it by incorporating the Palm dataset and curated a new dataset of over 22K culturally grounded multiple-choice questions (MCQs). Our experiments showed that the Fanar-1-9B-Instruct model achieved the highest performance. We fine-tuned this model on the combined augmented dataset of 22K+ MCQs. On the blind test set, our submitted system ranked 5th with an accuracy of 70.50%, while on the PalmX development set, it achieved an accuracy of 84.1%.
- Abstract(参考訳): 本稿では,PalmX文化評価共有課題への参加について報告する。
我々のシステムであるCultranAIは、アラビア文化知識表現のための大規模言語モデル(LLM)のデータの増大とLoRA微調整に焦点を当てた。
タスクの最高の性能モデルを特定するために、いくつかのLCMをベンチマークした。
PalmXデータセットの活用に加えて、Palmデータセットを組み込んで強化し、文化的に根拠付けられた2万2千件以上のマルチチョイス質問(MCQ)の新しいデータセットをキュレートした。
実験の結果,Fanar-1-9B-Instructモデルが最も高い性能を示した。
このモデルを22K以上のMCQの統合データセットで微調整した。
ブラインドテストセットでは、提案されたシステムは70.50%の精度で5位にランクされ、PalmXの開発セットでは84.1%の精度で評価された。
関連論文リスト
- AmaSQuAD: A Benchmark for Amharic Extractive Question Answering [0.0]
本研究では,抽出された問合せデータセットを低リソース言語に翻訳するための新しい枠組みを提案する。
この方法論は、翻訳された質問と回答のミスアライメントに関連する課題に対処する。
我々は、AmaSQuAD合成データセット上でXLM-Rモデルを微調整し、Amharic Question-Answeringを行う。
論文 参考訳(メタデータ) (2025-02-04T06:27:39Z) - Optimized Quran Passage Retrieval Using an Expanded QA Dataset and Fine-Tuned Language Models [0.0]
Qur'an QA 2023の共有タスクデータセットには、弱いモデル検索を伴う限られた数の質問があった。
251の質問を含む最初のデータセットをレビューし、629の質問に拡張し、質問の多様化と修正を行った。
AraBERT、RoBERTa、CAMeLBERT、AraELECTRA、BERTなど、微調整されたトランスモデルを実験する。
論文 参考訳(メタデータ) (2024-12-16T04:03:58Z) - CulturalBench: A Robust, Diverse, and Challenging Cultural Benchmark by Human-AI CulturalTeaming [75.82306181299153]
カルチャーベンチ(CulturalBench)は、LMの文化的知識を評価するための1,696の人文・人文的な質問である。
バングラデシュ、ジンバブエ、ペルーなど45の地域をカバーしている。
我々はHuman-AI Red-Teamingにインスパイアされた手法を用いてCulturalBenchを構築した。
論文 参考訳(メタデータ) (2024-10-03T17:04:31Z) - TextSquare: Scaling up Text-Centric Visual Instruction Tuning [62.878378882175284]
大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。
われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。
さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
論文 参考訳(メタデータ) (2024-04-19T11:38:08Z) - Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。
拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
論文 参考訳(メタデータ) (2024-03-07T18:00:40Z) - ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。
我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。
35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文 参考訳(メタデータ) (2024-02-20T09:07:41Z) - MULTI: Multimodal Understanding Leaderboard with Text and Images [24.04211732343361]
そこで本研究では,中国のマルチモーダルデータセットであるMultiについて述べる。
マルチモデルは、画像テキスト理解、複雑な推論、知識リコールを含む実世界の検査基準を用いてモデルを評価する。
Qwen2-VL-72BはMulti-Eliteで76.9%,Multi-Eliteで53.1%の精度で評価された。
論文 参考訳(メタデータ) (2024-02-05T16:41:02Z) - Improving Persian Relation Extraction Models by Data Augmentation [0.0]
本システムの結果と結果について述べる。
PERLEXをベースデータセットとして使用し、テキスト前処理のステップを適用して拡張する。
次に、拡張PERLEXデータセット上の関係抽出にParsBERTとmultilingual BERTの2つの異なるモデルを用いる。
論文 参考訳(メタデータ) (2022-03-29T08:08:47Z) - Efficient Palm-Line Segmentation with U-Net Context Fusion Module [1.1024591739346292]
人間の手の画像から原則的手のひら線を抽出するアルゴリズムを提案する。
本手法は,ディープラーニングネットワーク(DNN)を適用して性能向上を図る。
UNetセグメンテーションニューラルネットワークアーキテクチャに基づき、パームラインを検出するための高効率アーキテクチャを提案します。
論文 参考訳(メタデータ) (2021-02-24T08:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。