論文の概要: NLP at UC Santa Cruz at SemEval-2024 Task 5: Legal Answer Validation using Few-Shot Multi-Choice QA
- arxiv url: http://arxiv.org/abs/2404.03150v1
- Date: Thu, 4 Apr 2024 01:50:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 16:03:13.236508
- Title: NLP at UC Santa Cruz at SemEval-2024 Task 5: Legal Answer Validation using Few-Shot Multi-Choice QA
- Title（参考訳）: UC Santa Cruz at SemEval-2024 Task 5: Legal Answer Validation using Few-Shot Multi-Choice QA (英語)
- Authors: Anish Pahilajani, Samyak Rajesh Jain, Devasha Trivedi,
- Abstract要約: 本稿では,法的回答検証の課題を解決するための2つのアプローチを提案する。
まず、トレーニング済みのBERTベースのモデルを微調整し、ドメイン知識に基づいてトレーニングされたモデルの性能が向上することを発見した。
第2に, GPTモデル上で数発のプロンプトを行い, 回答検証タスクを複数選択QAタスクに書き換えることで, モデルの性能が著しく向上することを発見した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper presents our submission to the SemEval 2024 Task 5: The Legal Argument Reasoning Task in Civil Procedure. We present two approaches to solving the task of legal answer validation, given an introduction to the case, a question and an answer candidate. Firstly, we fine-tuned pre-trained BERT-based models and found that models trained on domain knowledge perform better. Secondly, we performed few-shot prompting on GPT models and found that reformulating the answer validation task to be a multiple-choice QA task remarkably improves the performance of the model. Our best submission is a BERT-based model that achieved the 7th place out of 20.
- Abstract（参考訳）: 本稿では,民事訴訟における第5節第5節第1節第1節第2節第2節第2節第1節第2節第2節第2節第1節第1節第2節第2節第1節第1節第1節第2節第2節第1節第1節第1節第2節第1節第1節第1節第2節第1節第1節第1節第1節第1節第1節第1節第1節第1節第1節第1節第2節第2節
本稿では, 法的回答検証の課題を解決するための2つのアプローチを提案する。
まず、トレーニング済みのBERTベースのモデルを微調整し、ドメイン知識に基づいてトレーニングされたモデルの性能が向上することを発見した。
第2に, GPTモデル上で数発のプロンプトを行い, 回答検証タスクを複数選択QAタスクに書き換えることで, モデルの性能が著しく向上することを発見した。
私たちのベストの応募は、BERTベースのモデルで、20位中7位を獲得しました。
関連論文リスト
- The Surprising Effectiveness of Test-Time Training for Abstract Reasoning [64.36534512742736]
モデル推論能力向上のためのメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。
TTTはARCタスクのパフォーマンスを大幅に改善し、ベースとなる微調整モデルと比較して最大6倍の精度向上を実現した。
本研究は,ニューラルネットワークモデルにおける抽象的推論改善の道筋として,明示的な記号探索が唯一の道ではないことを示唆している。
論文 参考訳（メタデータ） (2024-11-11T18:59:45Z) - BAMO at SemEval-2024 Task 9: BRAINTEASER: A Novel Task Defying Common Sense [0.04096453902709291]
本稿では,SemEval 2024 Task 9, BRAINTEASER: A Novel Task Defying Common Senseについて概説する。
データセットには、モデルに「ボックスの外」を考えるよう挑戦する、複数選択の質問が含まれている。
提案手法は,文パズルのサブタスクにおいて,全体の85%の精度を実現する。
論文 参考訳（メタデータ） (2024-06-07T14:01:56Z) - iREL at SemEval-2024 Task 9: Improving Conventional Prompting Methods for Brain Teasers [11.819814280565142]
本稿では,SemEval-2024 Task 9: BRAINTEASER: A Novel Task Defying Common Senseについて述べる。
BRAINTEASERタスクは、モデルの側方思考能力を評価するために設計された複数の選択質問回答を含む。
両サブタスクにおける事前学習言語モデルの性能向上のためのユニークな戦略を提案する。
論文 参考訳（メタデータ） (2024-05-25T08:50:51Z) - NOWJ1@ALQAC 2023: Enhancing Legal Task Performance with Classic
Statistical Models and Pre-trained Language Models [4.329463429688995]
本稿では,NOWJ1チームによるALQAC(Automated Legal Question Answering Competition)2023について述べる。
文書検索タスクでは、入力制限を克服し、学習からランクまでの手法を適用して様々なモデルの特徴を統合する。
我々は,従来の統計モデルと事前学習型言語モデルの両方を利用して,各サブタスクに対して異なるシステムを開発するために,最先端のモデルを組み込んだ。
論文 参考訳（メタデータ） (2023-09-16T18:32:15Z) - Understand Legal Documents with Contextualized Large Language Models [16.416510744265086]
本稿では,SemEval-2023タスク6について,法的テキストの理解について述べる。
我々はまず,文内および文間両方の包括的文脈情報を考慮した法-BERT-HSLNモデルを開発した。
次に、法的なエンティティを認識するために、法的なコンテキスト化とエンティティ認識を備えた法的なLUKEモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-03-21T18:48:11Z) - Socratic Pretraining: Question-Driven Pretraining for Controllable
Summarization [89.04537372465612]
ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。
以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
論文 参考訳（メタデータ） (2022-12-20T17:27:10Z) - The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。
我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。
目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
論文 参考訳（メタデータ） (2021-06-30T15:56:44Z) - RECONSIDER: Re-Ranking using Span-Focused Cross-Attention for Open
Domain Question Answering [49.024513062811685]
本研究では,スパン抽出タスクのための簡易かつ効果的な再ランク付け手法(RECONSIDER)を開発した。
ReCONSIDERは、MRCモデルの高信頼予測から抽出された正および負の例に基づいて訓練される。
パス内のスパンアノテーションを使用して、より小さな候補セットに対してスパンに焦点を当てた再ランクを実行する。
論文 参考訳（メタデータ） (2020-10-21T04:28:42Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳（メタデータ） (2020-10-06T15:47:53Z) - IIE-NLP-NUT at SemEval-2020 Task 4: Guiding PLM with Prompt Template
Reconstruction Strategy for ComVE [13.334749848189826]
サブタスクを複数選択の質問応答形式に形式化し、プロンプトテンプレートで入力を構築する。
実験結果から,本手法はベースラインシステムと比較して高い性能を示した。
最初の2つのサブタスクの2つの公式テストセットにおいて、96.4の精度と94.3の精度で第3位を確保した。
論文 参考訳（メタデータ） (2020-07-02T06:59:53Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳（メタデータ） (2020-05-06T15:56:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。