論文の概要: NativQA Framework: Enabling LLMs with Native, Local, and Everyday Knowledge

• arxiv url: http://arxiv.org/abs/2504.05995v1
• Date: Tue, 08 Apr 2025 13:01:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:31:35.401829
• Title: NativQA Framework: Enabling LLMs with Native, Local, and Everyday Knowledge
• Title（参考訳）: NativQAフレームワーク: LLMをネイティブ、ローカル、日々の知識で実現する
• Authors: Firoj Alam, Md Arid Hasan, Sahinur Rahman Laskar, Mucahid Kutlu, Shammur Absar Chowdhury,
• Abstract要約: 本研究では,大規模,文化的,地域的に整合したQAデータセットをネイティブ言語でシームレスに構築できるフレームワークであるNativQAを提案する。 このフレームワークは24の国と7の言語で39か所で評価されている。
• 参考スコア（独自算出の注目度）: 10.754622388103856
• License:
• Abstract: The rapid advancement of large language models (LLMs) has raised concerns about cultural bias, fairness, and their applicability in diverse linguistic and underrepresented regional contexts. To enhance and benchmark the capabilities of LLMs, there is a need to develop large-scale resources focused on multilingual, local, and cultural contexts. In this study, we propose a framework, NativQA, that can seamlessly construct large-scale, culturally and regionally aligned QA datasets in native languages. The framework utilizes user-defined seed queries and leverages search engines to collect location-specific, everyday information. It has been evaluated across 39 locations in 24 countries and in 7 languages, ranging from extremely low-resource to high-resource languages, which resulted over 300K Question Answer (QA) pairs. The developed resources can be used for LLM benchmarking and further fine-tuning. The framework has been made publicly available for the community (https://gitlab.com/nativqa/nativqa-framework).
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、文化的偏見、公平性、および多種多様な言語的・非表現的な地域的文脈におけるそれらの適用性に対する懸念を提起している。 LLMの能力を向上し、ベンチマークするためには、多言語、局所的、文化的な文脈に焦点を当てた大規模リソースを開発する必要がある。 本研究では,大規模,文化的,地域的に整合したQAデータセットをネイティブ言語でシームレスに構築できるフレームワークであるNativQAを提案する。 このフレームワークは、ユーザ定義のシードクエリを利用し、検索エンジンを活用して、位置情報固有の日常的な情報を収集する。 24か国、および7か国で39か所で評価され、極端に低リソースから高リソース言語まで、300K以上の質問回答(QA)が得られた。 開発したリソースは、LLMベンチマークやさらなる微調整に利用できる。 このフレームワークはコミュニティ向けに公開された(https://gitlab.com/nativqa/nativqa-framework)。

関連論文リスト

• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• INCLUDE: Evaluating Multilingual Language Understanding with Regional Knowledge [36.234295907476515]
  機能的大規模言語モデル(LLM)の開発は、英語以外の言語における高品質な評価資源の欠如によってボトルネックとなっている。 本研究では,各地域における多言語LLMの能力を評価するため,現地試験資料から197,243対のQAペアの評価スイートを構築した。
  論文  参考訳（メタデータ） (2024-11-29T16:03:14Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• L3Cube-IndicQuest: A Benchmark Question Answering Dataset for Evaluating Knowledge of LLMs in Indic Context [0.4194295877935868]
  L3Cube-IndicQuestは,ゴールド標準の質問応答ベンチマークデータセットである。 データセットには200の質問応答ペアが含まれており、それぞれ英語と19のIndic言語に対応しており、Indicリージョン固有の5つのドメインを含んでいる。
  論文  参考訳（メタデータ） (2024-09-13T10:48:35Z)
• NativQA: Multilingual Culturally-Aligned Natural Query for LLMs [12.35947908812959]
  本研究では,言語に依存しないフレームワークであるNativQAを提案し,文化的・地域的に整合したQAデータセットをネイティブ言語でシームレスに構築する。 7言語で64kの注釈付きQAペアからなる多言語自然QAデータセットmnqaを設計することで,提案手法の有効性を実証する。 また,低リソースおよび方言に富んだ言語を対象とした微調整データ構築におけるフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2024-07-13T09:34:00Z)
• Faux Polyglot: A Study on Information Disparity in Multilingual Large Language Models [7.615938028813914]
  言語間RAGに基づく情報検索における言語嗜好について検討した。 その結果,LLMは問合せ言語と同じ言語で情報に対する体系的バイアスを示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-07T21:26:36Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• LLMs Are Few-Shot In-Context Low-Resource Language Learners [59.74451570590808]
  In-context Learning (ICL) は、大規模言語モデル(LLM)に、表現不足の言語で多様なタスクを実行する権限を与える。 ICLとその言語間変動(X-ICL)を25の低リソース言語と7の比較的高リソース言語で検討した。 本研究は,LLMの低リソース理解品質向上における文脈内情報の重要性を論じる。
  論文  参考訳（メタデータ） (2024-03-25T07:55:29Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• Prix-LM: Pretraining for Multilingual Knowledge Base Construction [59.02868906044296]
  複数言語による知識構築と完成のための統合フレームワークである Prix-LM を提案する。 既存の多言語KBから抽出したモノリンガルトリプルとクロスリンガルリンクの2種類の知識を利用する。 複数の言語におけるリンク予測、言語間リンク、バイリンガル語彙誘導など、標準的なエンティティ関連タスクの実験は、その効果を実証している。
  論文  参考訳（メタデータ） (2021-10-16T02:08:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。