論文の概要: Parameter-Efficient Legal Domain Adaptation
- arxiv url: http://arxiv.org/abs/2210.13712v1
- Date: Tue, 25 Oct 2022 02:14:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 14:29:45.500562
- Title: Parameter-Efficient Legal Domain Adaptation
- Title(参考訳): パラメータ効率のよい法領域適応
- Authors: Jonathan Li, Rohan Bhambhoria, Xiaodan Zhu
- Abstract要約: 本稿では,法定事前学習を行うために,公共の法律フォーラムから収集された膨大な教師なしの法定データを用いて,パラメータ効率の高い法定ドメイン適応を提案する。
提案手法は,モデルパラメータの約0.1%をチューニングしながら,既存モデルのショット性能を上回るか,あるいは一致させる。
我々の知る限りでは、この研究は、言語モデルを法域に向けてチューニングするパラメータ効率の高い手法を最初に探求するものである。
- 参考スコア(独自算出の注目度): 39.51442413250532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Seeking legal advice is often expensive. Recent advancement in machine
learning for solving complex problems can be leveraged to help make legal
services more accessible to the public. However, real-life applications
encounter significant challenges. State-of-the-art language models are growing
increasingly large, making parameter-efficient learning increasingly important.
Unfortunately, parameter-efficient methods perform poorly with small amounts of
data, which are common in the legal domain (where data labelling costs are
high). To address these challenges, we propose parameter-efficient legal domain
adaptation, which uses vast unsupervised legal data from public legal forums to
perform legal pre-training. This method exceeds or matches the fewshot
performance of existing models such as LEGAL-BERT on various legal tasks while
tuning only approximately 0.1% of model parameters. Additionally, we show that
our method can achieve calibration comparable to existing methods across
several tasks. To the best of our knowledge, this work is among the first to
explore parameter-efficient methods of tuning language models toward the legal
domain.
- Abstract(参考訳): 法的助言を求めることはしばしば高価である。
複雑な問題を解決するための機械学習の最近の進歩は、法的なサービスをより一般にアクセスしやすくするために活用できる。
しかし、現実のアプリケーションには大きな課題がある。
最先端の言語モデルはますます大きくなり、パラメータ効率の学習がますます重要になっている。
残念なことに、パラメータ効率のよい手法は、法域(データラベリングコストが高い)でよく見られる、少量のデータでは不十分である。
そこで本研究では,公的な法務フォーラムからの膨大な教師なし法データを用いて法務事前学習を行う,パラメーター効率のよい法領域適応を提案する。
この方法は、LEGAL-BERTのような既存のモデルの様々な法的タスクにおいて、モデルのパラメータの約0.1%を調整しながら、ショットのパフォーマンスを上回るか一致させる。
また,本手法は複数のタスクにまたがる既存の手法に匹敵するキャリブレーションを実現できることを示す。
我々の知る限りでは、この研究は、言語モデルを法域に向けてチューニングするパラメータ効率の高い手法を最初に探求するものである。
関連論文リスト
- Automated Argument Generation from Legal Facts [6.057773749499076]
法律体系に提出される事件の数は、ある国の法律専門家の数よりもはるかに多い。
本研究では,訴訟分析の過程において,法的専門家を支援することに焦点を当てた。
実験結果から,ベストパフォーマンスメソッドから生成された引数は,ベンチマークセットのゴールド標準アノテーションと平均63%の重なりを持つことがわかった。
論文 参考訳(メタデータ) (2023-10-09T12:49:35Z) - Interpretable Long-Form Legal Question Answering with
Retrieval-Augmented Large Language Models [10.834755282333589]
長文の法的問合せデータセットは、専門家によるフランス語の法的質問1,868件からなる。
実験結果から,自動評価指標について有望な性能を示した。
LLeQAは、専門家によって注釈付けされた唯一の包括的なロングフォームLQAデータセットの1つであり、重要な現実世界の問題を解決するために研究を加速するだけでなく、特殊な領域におけるNLPモデルを評価するための厳密なベンチマークとしても機能する可能性がある。
論文 参考訳(メタデータ) (2023-09-29T08:23:19Z) - CaseEncoder: A Knowledge-enhanced Pre-trained Model for Legal Case
Encoding [15.685369142294693]
CaseEncoderは、データサンプリングと事前トレーニングフェーズの両方において、きめ細かい法的な知識を活用する法律文書エンコーダである。
CaseEncoderは、ゼロショットの判例検索において、既存の一般的な事前訓練モデルと法律固有の事前訓練モデルの両方を著しく上回っている。
論文 参考訳(メタデータ) (2023-05-09T12:40:19Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T10:47:01Z) - General Framework for Self-Supervised Model Priming for
Parameter-Efficient Fine-tuning [54.47460770634613]
本稿では,パラメータ効率の高い手法の少数ショット適応とクロスドメイン一般化能力を高めるための汎用フレームワークを提案する。
本フレームワークでは,パラメータ効率向上のための自己教師型モデルを用いて,下流の諸課題に迅速に適応する。
我々は160種類のNLPタスクを含む数ショットのクロスドメインベンチマークで実験を行った。
論文 参考訳(メタデータ) (2022-12-02T08:56:53Z) - Canary in a Coalmine: Better Membership Inference with Ensembled
Adversarial Queries [53.222218035435006]
私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。
我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
論文 参考訳(メタデータ) (2022-10-19T17:46:50Z) - Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。
近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。
我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T20:22:26Z) - Legal Transformer Models May Not Always Help [3.6061626009104057]
本研究では,法的NLPタスクにおけるドメイン適応型事前学習と言語アダプタの価値について検討する。
ドメイン適応型事前学習は低リソースダウンストリームタスクにのみ有効であることを示す。
さらなる結果として、法定コーパスで事前訓練されたRoBERTaモデルであるLegalRoBERTaをリリースする。
論文 参考訳(メタデータ) (2021-09-14T17:53:55Z) - LegaLMFiT: Efficient Short Legal Text Classification with LSTM Language
Model Pre-Training [0.0]
BERTのようなトランスフォーマーベースの大規模言語モデルは、多くのNLPタスクにおいて広範なパフォーマンス改善をもたらした。
法的なNLPでは、BERTベースのモデルが複数のタスクに対して新たな最先端の結果をもたらしている。
LSTMをベースとした軽量言語モデルでは,小さな法定テキスト事前学習コーパスから十分な情報を抽出し,短い法定テキスト分類タスクにおいて優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2021-09-02T14:45:04Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳(メタデータ) (2021-05-09T09:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。