論文の概要: NLP at UC Santa Cruz at SemEval-2024 Task 5: Legal Answer Validation using Few-Shot Multi-Choice QA
- arxiv url: http://arxiv.org/abs/2404.03150v1
- Date: Thu, 4 Apr 2024 01:50:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 16:03:13.236508
- Title: NLP at UC Santa Cruz at SemEval-2024 Task 5: Legal Answer Validation using Few-Shot Multi-Choice QA
- Title（参考訳）: UC Santa Cruz at SemEval-2024 Task 5: Legal Answer Validation using Few-Shot Multi-Choice QA (英語)
- Authors: Anish Pahilajani, Samyak Rajesh Jain, Devasha Trivedi,
- Abstract要約: 本稿では,法的回答検証の課題を解決するための2つのアプローチを提案する。
まず、トレーニング済みのBERTベースのモデルを微調整し、ドメイン知識に基づいてトレーニングされたモデルの性能が向上することを発見した。
第2に, GPTモデル上で数発のプロンプトを行い, 回答検証タスクを複数選択QAタスクに書き換えることで, モデルの性能が著しく向上することを発見した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper presents our submission to the SemEval 2024 Task 5: The Legal Argument Reasoning Task in Civil Procedure. We present two approaches to solving the task of legal answer validation, given an introduction to the case, a question and an answer candidate. Firstly, we fine-tuned pre-trained BERT-based models and found that models trained on domain knowledge perform better. Secondly, we performed few-shot prompting on GPT models and found that reformulating the answer validation task to be a multiple-choice QA task remarkably improves the performance of the model. Our best submission is a BERT-based model that achieved the 7th place out of 20.
- Abstract（参考訳）: 本稿では,民事訴訟における第5節第5節第1節第1節第2節第2節第2節第1節第2節第2節第2節第1節第1節第2節第2節第1節第1節第1節第2節第2節第1節第1節第1節第2節第1節第1節第1節第2節第1節第1節第1節第1節第1節第1節第1節第1節第1節第1節第1節第2節第2節
本稿では, 法的回答検証の課題を解決するための2つのアプローチを提案する。
まず、トレーニング済みのBERTベースのモデルを微調整し、ドメイン知識に基づいてトレーニングされたモデルの性能が向上することを発見した。
第2に, GPTモデル上で数発のプロンプトを行い, 回答検証タスクを複数選択QAタスクに書き換えることで, モデルの性能が著しく向上することを発見した。
私たちのベストの応募は、BERTベースのモデルで、20位中7位を獲得しました。
関連論文リスト
- NOWJ1@ALQAC 2023: Enhancing Legal Task Performance with Classic
Statistical Models and Pre-trained Language Models [4.329463429688995]
本稿では,NOWJ1チームによるALQAC(Automated Legal Question Answering Competition)2023について述べる。
文書検索タスクでは、入力制限を克服し、学習からランクまでの手法を適用して様々なモデルの特徴を統合する。
我々は,従来の統計モデルと事前学習型言語モデルの両方を利用して,各サブタスクに対して異なるシステムを開発するために,最先端のモデルを組み込んだ。
論文 参考訳（メタデータ） (2023-09-16T18:32:15Z) - Understand Legal Documents with Contextualized Large Language Models [16.416510744265086]
本稿では,SemEval-2023タスク6について,法的テキストの理解について述べる。
我々はまず,文内および文間両方の包括的文脈情報を考慮した法-BERT-HSLNモデルを開発した。
次に、法的なエンティティを認識するために、法的なコンテキスト化とエンティティ認識を備えた法的なLUKEモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-03-21T18:48:11Z) - Socratic Pretraining: Question-Driven Pretraining for Controllable
Summarization [89.04537372465612]
ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。
以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
論文 参考訳（メタデータ） (2022-12-20T17:27:10Z) - SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark
for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。
データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。
また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文 参考訳（メタデータ） (2022-03-14T04:26:40Z) - The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。
我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。
目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
論文 参考訳（メタデータ） (2021-06-30T15:56:44Z) - RECONSIDER: Re-Ranking using Span-Focused Cross-Attention for Open
Domain Question Answering [49.024513062811685]
本研究では,スパン抽出タスクのための簡易かつ効果的な再ランク付け手法(RECONSIDER)を開発した。
ReCONSIDERは、MRCモデルの高信頼予測から抽出された正および負の例に基づいて訓練される。
パス内のスパンアノテーションを使用して、より小さな候補セットに対してスパンに焦点を当てた再ランクを実行する。
論文 参考訳（メタデータ） (2020-10-21T04:28:42Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳（メタデータ） (2020-10-06T15:47:53Z) - QiaoNing at SemEval-2020 Task 4: Commonsense Validation and Explanation
system based on ensemble of language model [2.728575246952532]
本稿では,SemEval-2020 Task 4コンペティションに提出された言語モデルシステムについて述べる。
我々は、事前訓練された言語モデル(BERT、XLNet、RoBERTa、ALBERT)を用いて転送学習を行い、このタスクでそれらを微調整した。
アンサンブルされたモデルはこの問題をよりよく解決し、モデルの精度はサブタスクAで95.9%に達した。
論文 参考訳（メタデータ） (2020-09-06T05:12:50Z) - LMVE at SemEval-2020 Task 4: Commonsense Validation and Explanation
using Pretraining Language Model [5.428461405329692]
本稿では,SemEval-2020 Task 4のサブタスクa,bへの提出について述べる。
サブタスク a では、ALBERT ベースのモデルを用いて2つの文候補から共通感覚文を抽出する。
サブタスクbでは、ヒント文機構によって強化された多重選択モデルを用いて、文が常識に反する理由を与えられた選択肢から選択する。
論文 参考訳（メタデータ） (2020-07-06T05:51:10Z) - IIE-NLP-NUT at SemEval-2020 Task 4: Guiding PLM with Prompt Template
Reconstruction Strategy for ComVE [13.334749848189826]
サブタスクを複数選択の質問応答形式に形式化し、プロンプトテンプレートで入力を構築する。
実験結果から,本手法はベースラインシステムと比較して高い性能を示した。
最初の2つのサブタスクの2つの公式テストセットにおいて、96.4の精度と94.3の精度で第3位を確保した。
論文 参考訳（メタデータ） (2020-07-02T06:59:53Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳（メタデータ） (2020-05-06T15:56:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。