論文の概要: Validity Assessment of Legal Will Statements as Natural Language
Inference
- arxiv url: http://arxiv.org/abs/2210.16989v1
- Date: Sun, 30 Oct 2022 23:53:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 17:09:42.128595
- Title: Validity Assessment of Legal Will Statements as Natural Language
Inference
- Title(参考訳): 自然言語推論による法的遺言文の妥当性評価
- Authors: Alice Saebom Kwak, Jacob O. Israelsen, Clayton T. Morrison, Derek E.
Bambauer and Mihai Surdeanu
- Abstract要約: この研究は、法的遺言の文の妥当性に焦点を当てた自然言語推論(NLI)データセットを導入する。
このデータセットは、 (a) それぞれの包括的決定には3つの入力が必要である: (a) 遺言、法、そして、テスターの死時に保持される条件; (b) 含まれたテキストは、現在のNLIデータセットよりも長い。
- 参考スコア(独自算出の注目度): 16.292117261545226
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This work introduces a natural language inference (NLI) dataset that focuses
on the validity of statements in legal wills. This dataset is unique because:
(a) each entailment decision requires three inputs: the statement from the
will, the law, and the conditions that hold at the time of the testator's
death; and (b) the included texts are longer than the ones in current NLI
datasets. We trained eight neural NLI models in this dataset. All the models
achieve more than 80% macro F1 and accuracy, which indicates that neural
approaches can handle this task reasonably well. However, group accuracy, a
stricter evaluation measure that is calculated with a group of positive and
negative examples generated from the same statement as a unit, is in mid 80s at
best, which suggests that the models' understanding of the task remains
superficial. Further ablative analyses and explanation experiments indicate
that all three text segments are used for prediction, but some decisions rely
on semantically irrelevant tokens. This indicates that overfitting on these
longer texts likely happens, and that additional research is required for this
task to be solved.
- Abstract(参考訳): この研究は、法的遺言の文の有効性に焦点を当てた自然言語推論(NLI)データセットを導入する。
このデータセットはユニークです。
(a)各包括的決定には,遺言書,法律及び被告の死亡時に保持する条件の3つの入力を必要とする。
b) 含まれているテキストは、現在のNLIデータセットよりも長い。
このデータセットで8つのニューラルNLIモデルをトレーニングしました。
すべてのモデルが80%以上のマクロf1と精度を達成しているため、ニューラルネットワークがこのタスクを適切に処理できることを示している。
しかし、単位と同じ文から生成される正と負の例のグループで計算されるより厳密な評価尺度である群精度は、80年代中盤に最多であり、モデルのタスクに対する理解は表面的であることを示唆している。
さらなるアブレーション分析と説明実験により、3つのテキストセグメント全てが予測に使われていることが示されているが、いくつかの決定は意味的に無関係なトークンに依存している。
これは、これらの長いテキストに過度に適合する可能性があり、このタスクを解決するにはさらなる研究が必要であることを示している。
関連論文リスト
- Detecting Response Generation Not Requiring Factual Judgment [14.921007421043198]
本研究は, 事実正当性判定を必要としない文を予測するタスクが設定された対話応答において, 魅力と事実性を両立することを目的とした。
クラウドソーシングにより,ファクトチェック関連ラベル(DDFC)を付加したデータセットと対話データセットを作成し,このデータセットを用いて複数のモデルで分類タスクを行った。
分類精度が最も高いモデルでは、およそ88%の正確な分類結果が得られる。
論文 参考訳(メタデータ) (2024-06-14T04:03:24Z) - Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics
Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。
これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文 参考訳(メタデータ) (2023-05-29T16:24:01Z) - Analyzing Vietnamese Legal Questions Using Deep Neural Networks with
Biaffine Classifiers [3.116035935327534]
我々は深層ニューラルネットワークを用いてベトナムの法的問題から重要な情報を抽出することを提案する。
自然言語で法的疑問が与えられた場合、その疑問に答えるために必要な情報を含む全てのセグメントを抽出することが目的である。
論文 参考訳(メタデータ) (2023-04-27T18:19:24Z) - Multi-resolution Interpretation and Diagnostics Tool for Natural
Language Classifiers [0.0]
本稿では,意味論的に相互に関連のある単語のセグメントやクラスタによって,よりフレキシブルなモデル説明可能性要約を作成することを目的とする。
さらに,NLPモデルの根本原因分析手法を提案し,各セグメントのFalse PositiveとFalse Negativeを解析した。
論文 参考訳(メタデータ) (2023-03-06T22:59:02Z) - Retrieval-based Disentangled Representation Learning with Natural
Language Supervision [61.75109410513864]
本稿では,VDR(Vocabulary Disentangled Retrieval)を提案する。
提案手法では,両エンコーダモデルを用いて語彙空間におけるデータと自然言語の両方を表現する。
論文 参考訳(メタデータ) (2022-12-15T10:20:42Z) - Revisiting text decomposition methods for NLI-based factuality scoring
of summaries [9.044665059626958]
細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。
また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
論文 参考訳(メタデータ) (2022-11-30T09:54:37Z) - ASDOT: Any-Shot Data-to-Text Generation with Pretrained Language Models [82.63962107729994]
Any-Shot Data-to-Text (ASDOT)は、多様な設定に柔軟に適用可能な新しいアプローチである。
データ曖昧化と文の融合という2つのステップから構成される。
実験の結果, ASDOT はベースラインよりも顕著な改善が得られた。
論文 参考訳(メタデータ) (2022-10-09T19:17:43Z) - Falsesum: Generating Document-level NLI Examples for Recognizing Factual
Inconsistency in Summarization [63.21819285337555]
高品質なタスク指向の例でトレーニングデータを拡張した場合,NLIモデルがこのタスクに有効であることを示す。
我々は、制御可能なテキスト生成モデルを利用して、人間の注釈付き要約を摂動させるデータ生成パイプラインであるFalsesumを紹介した。
本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルにより,4つのベンチマークを用いて,要約における事実整合性を検出することにより,最先端のパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2022-05-12T10:43:42Z) - Automatically Identifying Semantic Bias in Crowdsourced Natural Language
Inference Datasets [78.6856732729301]
NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。
データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
論文 参考訳(メタデータ) (2021-12-16T22:49:01Z) - NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model
Performance [3.7024660695776066]
データセットがモデルの意味理解能力を評価するための良いテストベッドを構成するかどうかを評価することができる新しい診断テストスイートを提案します。
特に,広く使用されているベンチマーク(mnliおよびanli)に制御された腐敗変換を適用する。
モデル精度の大幅な低下は、元のデータセットがモデルの推論能力に適切な挑戦を提供することを示している。
論文 参考訳(メタデータ) (2021-04-10T12:28:07Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳(メタデータ) (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。