論文の概要: Dependency Learning for Legal Judgment Prediction with a Unified
Text-to-Text Transformer
- arxiv url: http://arxiv.org/abs/2112.06370v1
- Date: Mon, 13 Dec 2021 01:38:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-14 15:06:00.694363
- Title: Dependency Learning for Legal Judgment Prediction with a Unified
Text-to-Text Transformer
- Title（参考訳）: 統一テキスト変換器による法的判断予測のための依存学習
- Authors: Yunyun Huang, Xiaoyu Shen, Chuanyi Li, Jidong Ge, Bin Luo
- Abstract要約: 法的判断予測には、違反した法律記事、告訴、刑期などの一連のサブタスクが含まれる。
LJPに統一されたテキスト・トゥ・テキスト・トランスフォーマーを提案する。
この統合トランスフォーマーは、一般ドメインのテキストで事前訓練されているにもかかわらず、法律ドメイン用に特別に調整された事前訓練されたモデルよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 13.896506220470748
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given the fact of a case, Legal Judgment Prediction (LJP) involves a series
of sub-tasks such as predicting violated law articles, charges and term of
penalty. We propose leveraging a unified text-to-text Transformer for LJP,
where the dependencies among sub-tasks can be naturally established within the
auto-regressive decoder. Compared with previous works, it has three advantages:
(1) it fits in the pretraining pattern of masked language models, and thereby
can benefit from the semantic prompts of each sub-task rather than treating
them as atomic labels, (2) it utilizes a single unified architecture, enabling
full parameter sharing across all sub-tasks, and (3) it can incorporate both
classification and generative sub-tasks. We show that this unified transformer,
albeit pretrained on general-domain text, outperforms pretrained models
tailored specifically for the legal domain. Through an extensive set of
experiments, we find that the best order to capture dependencies is different
from human intuitions, and the most reasonable logical order for humans can be
sub-optimal for the model. We further include two more auxiliary tasks: court
view generation and article content prediction, showing they can not only
improve the prediction accuracy, but also provide interpretable explanations
for model outputs even when an error is made. With the best configuration, our
model outperforms both previous SOTA and a single-tasked version of the unified
transformer by a large margin.
- Abstract（参考訳）: 訴訟の事実を考えると、法的判断予測(英語版)(ljp)は、違反した法律記事、告訴、ペナルティ期間の予測のような一連のサブタスクを含む。
自動回帰デコーダ内にサブタスク間の依存関係を自然に確立できるLJP用の統一テキスト変換器を提案する。
以前の作品と比較して、(1)マスク言語モデルの事前学習パターンに適合し、アトミックラベルとしてではなく、各サブタスクの意味的プロンプトの恩恵を受ける、(2)単一の統一アーキテクチャを利用する、すべてのサブタスクで完全なパラメータ共有を可能にする、(3)分類と生成的なサブタスクの両方を組み込むことができる、という3つの利点がある。
この統合トランスフォーマーは、一般ドメインのテキストで事前訓練されているにもかかわらず、法律ドメイン用に特別に調整された事前訓練されたモデルよりも優れていることを示す。
大規模な実験を通して、依存関係を捕捉する最善の順序は人間の直観と異なり、人間にとって最も合理的な論理的順序はモデルに準最適であることがわかった。
さらに、コートビュー生成と記事コンテンツ予測という2つの補助的なタスクも含み、予測精度を向上できるだけでなく、エラーが発生した場合でもモデル出力の解釈可能な説明を提供する。
最適な構成で、我々のモデルは以前のSOTAと統一トランスの単一タスクバージョンの両方を大きなマージンで上回る。
関連論文リスト
- Making the Most of your Model: Methods for Finetuning and Applying Pretrained Transformers [0.21756081703276003]
この論文は、この目標を前進させるモデルの方法と分析を提供する。
使用するモデルに新たな機能を追加する2つの新しいファインタニング手法を導入する。
モデルライクリフと出力品質のばらつきに関する理論的および実証的な知見を提供する。
論文 参考訳（メタデータ） (2024-08-29T03:50:24Z) - UU-Tax at SemEval-2022 Task 3: Improving the generalizability of
language models for taxonomy classification through data augmentation [0.0]
本稿では,SemEval-2022 Task 3 PreTENS: Presuposed Taxonomies Evaluation Neural Network Semanticsについて述べる。
タスクの目標は、文に含まれる名詞対の間の分類学的関係によって、ある文が受け入れられているか否かを識別することである。
より優れた分類のための言語モデルの堅牢性と一般化性を高める効果的な方法を提案する。
論文 参考訳（メタデータ） (2022-10-07T07:41:28Z) - Analyzing Transformers in Embedding Space [59.434807802802105]
学習したトランスフォーマーの全てのパラメータを埋め込み空間に投影することで解釈する理論解析を提案する。
予め訓練されたモデルと微調整されたモデルの両方のパラメータを埋め込み空間で解釈できることを示す。
我々の発見は、少なくとも部分的には、モデル仕様から抽象化し、埋め込み空間でのみ動作する解釈手法への扉を開く。
論文 参考訳（メタデータ） (2022-09-06T14:36:57Z) - Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。
次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
論文 参考訳（メタデータ） (2022-05-02T21:41:14Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Composable Sparse Fine-Tuning for Cross-Lingual Transfer [56.86192078426372]
事前学習されたモデルのパラメータを微調整することが、伝達学習の主流のアプローチとなっている。
本稿では,これら2つの望ましい特性を持つファインチューニング手法を提案する。
これは、ゼロショットのクロスランガル転送において、大きなマージンでアダプタを上回ります。
論文 参考訳（メタデータ） (2021-10-14T17:27:29Z) - Inducing Transformer's Compositional Generalization Ability via
Auxiliary Sequence Prediction Tasks [86.10875837475783]
体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。
既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。
本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
論文 参考訳（メタデータ） (2021-09-30T16:41:19Z) - Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。
我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文 参考訳（メタデータ） (2020-10-10T14:03:20Z) - How Can We Accelerate Progress Towards Human-like Linguistic
Generalization? [22.810889064523167]
本論文は,PAID(Pretraining-Agnostic Identically Distributed)評価パラダイムについて記述し,批判する。
本パラダイムは,(1)任意の大きさのコーパス上の単語予測モデルの事前学習,(2)分類タスクを表すトレーニングセット上の微調整(トランスファーラーニング),(3)同トレーニングセットと同じ分布から抽出されたテストセットの評価の3段階からなる。
論文 参考訳（メタデータ） (2020-05-03T00:31:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。