論文の概要: A Hierarchical Neural Framework for Classification and its Explanation
in Large Unstructured Legal Documents
- arxiv url: http://arxiv.org/abs/2309.10563v2
- Date: Mon, 25 Sep 2023 15:10:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 22:43:47.707759
- Title: A Hierarchical Neural Framework for Classification and its Explanation
in Large Unstructured Legal Documents
- Title(参考訳): 大規模非構造化法文書における階層型ニューラルネットワークの分類とその説明
- Authors: Nishchal Prasad, Mohand Boughanem, Taoufik Dkaki
- Abstract要約: 我々はこの問題を「注釈付き法律文書」と定義する。
我々はMEScと呼ぶディープラーニングに基づく分類フレームワークを提案する。
また、ORSEと呼ばれる説明抽出アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 0.6349503549199403
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automatic legal judgment prediction and its explanation suffer from the
problem of long case documents exceeding tens of thousands of words, in
general, and having a non-uniform structure. Predicting judgments from such
documents and extracting their explanation becomes a challenging task, more so
on documents with no structural annotation. We define this problem as "scarce
annotated legal documents" and explore their lack of structural information and
their long lengths with a deep-learning-based classification framework which we
call MESc; "Multi-stage Encoder-based Supervised with-clustering"; for judgment
prediction. We explore the adaptability of LLMs with multi-billion parameters
(GPT-Neo, and GPT-J) to legal texts and their intra-domain(legal) transfer
learning capacity. Alongside this, we compare their performance and
adaptability with MESc and the impact of combining embeddings from their last
layers. For such hierarchical models, we also propose an explanation extraction
algorithm named ORSE; Occlusion sensitivity-based Relevant Sentence Extractor;
based on the input-occlusion sensitivity of the model, to explain the
predictions with the most relevant sentences from the document. We explore
these methods and test their effectiveness with extensive experiments and
ablation studies on legal documents from India, the European Union, and the
United States with the ILDC dataset and a subset of the LexGLUE dataset. MESc
achieves a minimum total performance gain of approximately 2 points over
previous state-of-the-art proposed methods, while ORSE applied on MESc achieves
a total average gain of 50% over the baseline explainability scores.
- Abstract(参考訳): 自動法的判断予測とその説明は、一般に数万語を超える長い判例文書の問題に苦しめられ、一様でない構造を持つ。
このような文書から判断を予測し、その説明を抽出することは、構造的注釈のない文書よりも難しい課題である。
この問題を「注釈付き法的文書」と定義し、構造情報の欠如とその長大さをmesc(multi-stage encoder-based supervised with-clustering)と呼ぶディープラーニングに基づく分類フレームワークを用いて探究し、判断予測を行う。
我々は,多ビリオンパラメータ(GPT-Neo,GPT-J)を用いたLLMの法文への適応性とドメイン内移行学習能力について検討する。
これと同時に、MEScのパフォーマンスと適応性、および最後のレイヤからの埋め込みの組み合わせの影響を比較します。
このような階層モデルに対しては, ORSE (Occlusion sensitivity-based Relevant Sentence Extractor) という説明抽出アルゴリズムも提案する。
これらの手法を探索し,インド,欧州連合,米国からの法的文書に関する広範な実験およびアブレーション研究により,ILDCデータセットとLexGLUEデータセットのサブセットを用いてその有効性を検証した。
mescは、これまでの最先端手法よりも約2ポイントのパフォーマンス向上を達成し、mescに適用されたorseは、ベースライン説明可能性スコアよりも平均50%のゲインを達成している。
関連論文リスト
- Exploring Large Language Models and Hierarchical Frameworks for
Classification of Large Unstructured Legal Documents [0.6349503549199403]
我々は,大規模法律文書の分類と,深層学習に基づく階層的枠組みによる構造情報の欠如について検討する。
具体的には、文書を分割して、カスタムの微調整された大規模言語モデルの最後の4層から埋め込みを抽出する。
提案手法は,従来の最先端手法に比べて平均2ポイント程度の性能向上を実現している。
論文 参考訳(メタデータ) (2024-03-11T16:24:08Z) - Multi-perspective Improvement of Knowledge Graph Completion with Large
Language Models [95.31941227776711]
我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。
我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
論文 参考訳(メタデータ) (2024-03-04T12:16:15Z) - Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [68.09977874599925]
本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。
我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。
推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
論文 参考訳(メタデータ) (2024-03-01T10:38:07Z) - Exploring Semi-supervised Hierarchical Stacked Encoder for Legal
Judgement Prediction [0.6349503549199403]
本研究では,教師なしと教師なしの2段階の分類機構を探索し,提案する。
我々は、ドメイン固有の事前訓練されたBERTを用いて、変換器エンコーダ層でさらに処理する文埋め込みの観点から、長い文書から情報を抽出する。
ILDCデータセット上で提案した手法よりも高い性能向上が期待できる。
論文 参考訳(メタデータ) (2023-11-14T12:03:26Z) - Document Provenance and Authentication through Authorship Classification [5.2545206693029884]
本稿では,単一文書と複数文書の分類のためのアンサンブルベースのテキスト処理フレームワークを提案する。
提案するフレームワークには,最先端のテキスト分類アルゴリズムがいくつか組み込まれている。
フレームワークは大規模なベンチマークデータセットで評価される。
論文 参考訳(メタデータ) (2023-03-02T12:26:03Z) - InfoCSE: Information-aggregated Contrastive Learning of Sentence
Embeddings [61.77760317554826]
本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。
提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。
実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
論文 参考訳(メタデータ) (2022-10-08T15:53:19Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-03-15T01:24:51Z) - WSL-DS: Weakly Supervised Learning with Distant Supervision for Query
Focused Multi-Document Abstractive Summarization [16.048329028104643]
Query Focused Multi-Document Summarization (QF-MDS)タスクでは、ドキュメントのセットとクエリが与えられ、そこでこれらのドキュメントから要約を生成する。
このタスクの大きな課題のひとつは、ラベル付きトレーニングデータセットの可用性の欠如である。
本稿では,遠隔指導による弱教師付き学習手法を提案する。
論文 参考訳(メタデータ) (2020-11-03T02:02:55Z) - Legal Document Classification: An Application to Law Area Prediction of
Petitions to Public Prosecution Service [6.696983725360808]
本稿では,NLPを用いたテキスト分類手法を提案する。
我々の主な目標は、各分野の法律に請願書を割り当てるプロセスを自動化することです。
最高の結果は、ドメイン固有のコーパスとリカレントニューラルネットワークアーキテクチャに基づいてトレーニングされたWord2Vecの組み合わせで得られる。
論文 参考訳(メタデータ) (2020-10-13T18:05:37Z) - Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。
本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T03:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。