論文の概要: Evaluating Monolingual and Multilingual Large Language Models for Greek Question Answering: The DemosQA Benchmark

• arxiv url: http://arxiv.org/abs/2602.16811v1
• Date: Wed, 18 Feb 2026 19:15:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:28.303501
• Title: Evaluating Monolingual and Multilingual Large Language Models for Greek Question Answering: The DemosQA Benchmark
• Title（参考訳）: ギリシャ語質問回答のための単言語および多言語大言語モデルの評価: DemosQA ベンチマーク
• Authors: Charalampos Mastrokostas, Nikolaos Giarelis, Nikos Karacapilidis,
• Abstract要約: 大規模言語モデル (LLM) は質問回答 (QA) を含む幅広いタスクにわたって最先端の技術を進歩させてきた。 自然言語処理とディープラーニングの進歩により、大規模言語モデル(LLM)の開発が可能になった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Natural Language Processing and Deep Learning have enabled the development of Large Language Models (LLMs), which have significantly advanced the state-of-the-art across a wide range of tasks, including Question Answering (QA). Despite these advancements, research on LLMs has primarily targeted high-resourced languages (e.g., English), and only recently has attention shifted toward multilingual models. However, these models demonstrate a training data bias towards a small number of popular languages or rely on transfer learning from high- to under-resourced languages; this may lead to a misrepresentation of social, cultural, and historical aspects. To address this challenge, monolingual LLMs have been developed for under-resourced languages; however, their effectiveness remains less studied when compared to multilingual counterparts on language-specific tasks. In this study, we address this research gap in Greek QA by contributing: (i) DemosQA, a novel dataset, which is constructed using social media user questions and community-reviewed answers to better capture the Greek social and cultural zeitgeist; (ii) a memory-efficient LLM evaluation framework adaptable to diverse QA datasets and languages; and (iii) an extensive evaluation of 11 monolingual and multilingual LLMs on 6 human-curated Greek QA datasets using 3 different prompting strategies. We release our code and data to facilitate reproducibility.
• Abstract（参考訳）: 近年の自然言語処理とディープラーニングの進歩により、質問応答(QA)を含む幅広いタスクで最先端の言語モデル(LLM)の開発が可能になった。 これらの進歩にもかかわらず、LLMの研究は主に高リソース言語(例えば英語)をターゲットにしており、最近になって多言語モデルに注目が集まっている。 しかし、これらのモデルは、少数のポピュラー言語に対する訓練データバイアスを示すか、高水準言語から低レベルのソース言語への移行学習に依存している。 この課題に対処するために、モノリンガルLLMは、アンダーリソース言語向けに開発されたが、言語固有のタスクにおける多言語言語と比較しても、その効果は研究されていない。 本研究では,ギリシャのQAにおけるこの研究ギャップについて,次のように考察する。 一 デモQA(デモQA)は、ソーシャルメディア利用者の質問及びコミュニティがレビューした回答を用いて、ギリシャの社会・文化のセギストをよりよく捉えた新しいデータセットである。 (II)多様なQAデータセットや言語に対応可能なメモリ効率の高いLCM評価フレームワーク 3) 3つの異なるプロンプト戦略を用いて, 6つのギリシア語QAデータセットに対して, 11個の単言語および多言語LLMを広範囲に評価した。 再現性を促進するために、コードとデータをリリースします。

関連論文リスト

• Beyond Monolingual Assumptions: A Survey of Code-Switched NLP in the Era of Large Language Models [1.175067374181304]
  単一発話における言語とスクリプトの交替であるコードスイッチングは、多言語NLPの根本的な課題である。 ほとんどの大規模言語モデル(LLM)は、混合言語入力、限られたCSWデータセット、評価バイアスに悩まされている。 この調査は、CSWを意識したLSM研究の総合的な分析を初めて提供する。
  論文  参考訳（メタデータ） (2025-10-08T14:04:14Z)
• SpokenNativQA: Multilingual Everyday Spoken Queries for LLMs [12.60449414234283]
  SpokenNativQAは、最初の多言語および文化的に整列された音声質問応答データセットである。 データセットは、複数の言語で約33,000の自然に話される質問と回答から構成される。
  論文  参考訳（メタデータ） (2025-05-25T14:22:18Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers [51.8203871494146]
  LLM(Large Language Models)の急速な開発は、自然言語処理における顕著な多言語機能を示している。 LLMのブレークスルーにもかかわらず、多言語シナリオの研究は依然として不十分である。 本調査は,多言語問題に対する研究コミュニティの取り組みを支援することを目的としており,LLMに基づく多言語自然言語処理における中核概念,鍵技術,最新の発展の包括的理解を提供する。
  論文  参考訳（メタデータ） (2024-05-17T17:47:39Z)
• Towards a More Inclusive AI: Progress and Perspectives in Large Language Model Training for the Sámi Language [7.289015788793582]
  本研究は、S'ami言語における技術参加の増大に焦点を当てている。 我々は,Ultra Low Resource (ULR)言語の言語モデリング問題に対して,MLコミュニティの注目を集めている。 Webから利用可能なS'ami言語リソースをコンパイルして、言語モデルをトレーニングするためのクリーンなデータセットを作成しました。
  論文  参考訳（メタデータ） (2024-05-09T13:54:22Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。