論文の概要: LEGAL-UQA: A Low-Resource Urdu-English Dataset for Legal Question Answering

• arxiv url: http://arxiv.org/abs/2410.13013v1
• Date: Wed, 16 Oct 2024 20:14:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:23:00.628333
• Title: LEGAL-UQA: A Low-Resource Urdu-English Dataset for Legal Question Answering
• Title（参考訳）: LEGAL-UQA: 訴訟回答のための低リソースウルドゥー英語データセット
• Authors: Faizan Faisal, Umair Yousaf,
• Abstract要約: LEGAL-UQAはパキスタンの憲法から派生した最初のウルドゥー語法的問合せデータセットである。 このパラレル・イングリッシュ・ウルドゥデータセットは、619の質問応答ペアを含み、それぞれが対応する法的記事コンテキストを持つ。 我々は、OCR抽出、手動精細化、GPT-4による翻訳およびQAペアの生成を含むデータセット作成プロセスについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present LEGAL-UQA, the first Urdu legal question-answering dataset derived from Pakistan's constitution. This parallel English-Urdu dataset includes 619 question-answer pairs, each with corresponding legal article contexts, addressing the need for domain-specific NLP resources in low-resource languages. We describe the dataset creation process, including OCR extraction, manual refinement, and GPT-4-assisted translation and generation of QA pairs. Our experiments evaluate the latest generalist language and embedding models on LEGAL-UQA, with Claude-3.5-Sonnet achieving 99.19% human-evaluated accuracy. We fine-tune mt5-large-UQA-1.0, highlighting the challenges of adapting multilingual models to specialized domains. Additionally, we assess retrieval performance, finding OpenAI's text-embedding-3-large outperforms Mistral's mistral-embed. LEGAL-UQA bridges the gap between global NLP advancements and localized applications, particularly in constitutional law, and lays the foundation for improved legal information access in Pakistan.
• Abstract（参考訳）: LEGAL-UQAはパキスタンの憲法から派生した最初のウルドゥー語法的問合せデータセットである。 このパラレル・イングリッシュ・ウルドゥデータセットは、619の質問応答ペアを含み、それぞれが対応する法的記事コンテキストを持ち、低リソース言語におけるドメイン固有のNLPリソースの必要性に対処する。 我々は、OCR抽出、手動精細化、GPT-4による翻訳およびQAペアの生成を含むデータセット作成プロセスについて述べる。 実験では,LEGAL-UQA上の最新の汎用言語と埋め込みモデルを評価し,Claude-3.5-Sonnetが99.19%の精度で評価した。 我々はmt5-large-UQA-1.0を微調整し、特殊ドメインに多言語モデルを適用する際の課題を強調した。 さらに,OpenAIのテキスト埋め込み3-largeの検索性能はMistralのミストラル埋め込みよりも優れていた。 LEGAL-UQAは、国際NLPの進歩と、特に憲法制定法におけるローカライズド・アプリケーションとのギャップを埋め、パキスタンにおける法情報アクセスの改善の基礎を築き上げている。

関連論文リスト

• INDIC QA BENCHMARK: A Multilingual Benchmark to Evaluate Question Answering capability of LLMs for Indic Languages [26.13077589552484]
  Indic-QAは、2つの言語ファミリーから11の主要なインドの言語に対して、公開可能なコンテキストベース質問答えデータセットとして最大である。 我々は、Geminiモデルを用いて合成データセットを生成し、パスを与えられた質問応答ペアを作成し、品質保証のために手作業で検証する。 様々な多言語大言語モデルと,その命令を微調整した変種をベンチマークで評価し,その性能,特に低リソース言語について検討した。
  論文  参考訳（メタデータ） (2024-07-18T13:57:16Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
  自然言語推論は自然言語理解のプロキシである。 ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
  論文  参考訳（メタデータ） (2024-05-20T08:41:15Z)
• UQA: Corpus for Urdu Question Answering [3.979019316355144]
  本稿では,ウルドゥー語における質問応答とテキスト理解のための新しいデータセットであるUQAを紹介する。 UQAは、大規模な英語QAデータセットであるSQuAD2.0(Stanford Question Answering dataset)を翻訳することによって生成される。 本稿では,Google TranslatorとSeamless M4Tの2つの候補の中から,最適な翻訳モデルを選択し,評価するプロセスについて述べる。
  論文  参考訳（メタデータ） (2024-05-02T16:44:31Z)
• Can a Multichoice Dataset be Repurposed for Extractive Question Answering? [52.28197971066953]
  我々は,Multiple-choice Question answering (MCQA)のために設計されたBandarkar et al.(Bandarkar et al., 2023)を再利用した。 本稿では,英語と現代標準アラビア語(MSA)のためのガイドラインと並列EQAデータセットを提案する。 私たちの目標は、ベレベレにおける120以上の言語変異に対して、他者が私たちのアプローチを適応できるようにすることです。
  論文  参考訳（メタデータ） (2024-04-26T11:46:05Z)
• MahaSQuAD: Bridging Linguistic Divides in Marathi Question-Answering [0.4194295877935868]
  この研究は、低リソース言語における効率的なQnAデータセットの欠如のギャップを埋めようとしている。 118,516のトレーニング、11,873のバリデーション、11,803のテストサンプルからなる、Indic言語Marathiのための最初の完全なSQuADデータセットであるMahaSQuADを紹介した。
  論文  参考訳（メタデータ） (2024-04-20T12:16:35Z)
• Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning [49.79783940841352]
  既存のデータセットはほとんどが英語で書かれている。 私たちは世界中の言語に精通した話者と協力して、指示と完了の自然な例を集めています。 既存のデータセットを114言語でテンプレート化し、翻訳することで、5億1300万のインスタンスを含む、これまでで最も広範な多言語コレクションを作成します。
  論文  参考訳（メタデータ） (2024-02-09T18:51:49Z)
• One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support [18.810320088441678]
  この研究は、法域に対する新しいNLPベンチマークを導入している。 エンフロング文書(最大50Kトークン)の処理、エンフドメイン固有の知識(法的テキストに具体化されている)、エンフマルチリンガル理解(5つの言語をカバーしている)の5つの重要な側面においてLCMに挑戦する。 我々のベンチマークにはスイスの法体系からの多様なデータセットが含まれており、基礎となる非英語、本質的には多言語法体系を包括的に研究することができる。
  論文  参考訳（メタデータ） (2023-06-15T16:19:15Z)
• MultiLegalSBD: A Multilingual Legal Sentence Boundary Detection Dataset [0.0]
  文境界検出(SBD)は自然言語処理の基礎的構成要素の一つである。 我々は6言語で130万以上の注釈文からなる多言語法的データセットをキュレートした。 CRF, BiLSTM-CRF, トランスフォーマーに基づく単言語モデルと多言語モデルの訓練, 試験を行い, 最先端性能を実証した。
  論文  参考訳（メタデータ） (2023-05-02T05:52:03Z)
• QAmeleon: Multilingual QA with Only 5 Examples [71.80611036543633]
  数ショットの学習環境下で事前学習した言語モデルを利用する方法を示す。 我々のアプローチであるQAmeleonは、PLMを使用して、QAモデルをトレーニングした多言語データを自動的に生成する。 言語毎に5つの例しか持たないデータ合成のためにPLMをプロンプトチューニングすることで、翻訳ベースのベースラインよりも精度が向上する。
  論文  参考訳（メタデータ） (2022-11-15T16:14:39Z)
• Learning Domain-Specialised Representations for Cross-Lingual Biomedical Entity Linking [66.76141128555099]
  言語横断型バイオメディカルエンティティリンクタスク(XL-BEL)を提案する。 まず、標準単言語英語BELタスクを超えて、標準単言語および多言語LMと同様に、標準的な知識に依存しない能力について検討する。 次に、リソースに富んだ言語からリソースに乏しい言語にドメイン固有の知識を移すことの課題に対処する。
  論文  参考訳（メタデータ） (2021-05-30T00:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。