論文の概要: Sublanguage: A Serious Issue Affects Pretrained Models in Legal Domain
- arxiv url: http://arxiv.org/abs/2104.07782v1
- Date: Thu, 15 Apr 2021 21:25:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 14:38:23.562157
- Title: Sublanguage: A Serious Issue Affects Pretrained Models in Legal Domain
- Title(参考訳): サブ言語: 法律ドメインの事前訓練モデルに影響を与える重大な問題
- Authors: Ha-Thanh Nguyen, Le-Minh Nguyen
- Abstract要約: 法的英語は、誰にとっても重要だが、誰にとっても理解できないサブ言語である。
これらのモデルが法律のサブ言語の知識なしに実際に適用された場合、それは無駄または危険です。
- 参考スコア(独自算出の注目度): 4.518012967046983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Legal English is a sublanguage that is important for everyone but not for
everyone to understand. Pretrained models have become best practices among
current deep learning approaches for different problems. It would be a waste or
even a danger if these models were applied in practice without knowledge of the
sublanguage of the law. In this paper, we raise the issue and propose a trivial
solution by introducing BERTLaw a legal sublanguage pretrained model. The
paper's experiments demonstrate the superior effectiveness of the method
compared to the baseline pretrained model
- Abstract(参考訳): 法的な英語はすべての人にとって重要であるが、誰でも理解できるものではない。
トレーニング済みモデルは、さまざまな問題に対する現在のディープラーニングアプローチの中でベストプラクティスになっています。
もしこれらのモデルが法律のサブ言語を知らずに実際に適用されたら、それは無駄だろうし、危険かもしれない。
本稿では,BERTLawを法定サブ言語事前学習モデルとして導入することで,問題を提起し,簡単な解法を提案する。
ベースライン事前学習モデルと比較して,本手法の有効性を実証する実験を行った。
関連論文リスト
- Legal Syllogism Prompting: Teaching Large Language Models for Legal
Judgment Prediction [0.6091702876917281]
LoT(Lawal syllogism prompting)は、法的な判断の予測のために大きな言語モデルを教える単純なプロンプト法である。
LoTは法的なシロジズムにおいて、主要な前提は法であり、小さな前提は事実であり、結論は判断である、とのみ教えている。
以上の結果から, LoT を用いた LLM は,思考のベースラインや連鎖よりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-07-17T08:38:46Z) - ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。
ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。
言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
論文 参考訳(メタデータ) (2022-12-16T05:15:41Z) - Extending the Subwording Model of Multilingual Pretrained Models for New
Languages [31.702393348980735]
本稿では,SentencePieceトークンに新たなサブワードを追加し,多言語事前学習モデルを新しい言語に適用する。
実験では、すでに訓練済みの言語のセグメンテーションを変更することなく、Inuktitut文をサブワードに分割した。
論文 参考訳(メタデータ) (2022-11-29T06:55:34Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳(メタデータ) (2022-10-23T00:37:08Z) - Improving Pre-trained Language Model Fine-tuning with Noise Stability
Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。
具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。
提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-12T04:42:49Z) - How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial
Robustness? [121.57551065856164]
本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。
RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。
実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2021-12-22T05:04:41Z) - bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。
bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文 参考訳(メタデータ) (2021-10-14T04:05:25Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳(メタデータ) (2021-05-09T09:39:25Z) - HerBERT: Efficiently Pretrained Transformer-based Language Model for
Polish [4.473327661758546]
本論文では,ポーランド語に焦点をあてた最初のアブレーション研究について述べる。
多言語モデルから単言語モデルへの知識伝達の事前学習手順を設計・評価します。
提案された手順に基づいて、ポーランドのBERTベースの言語モデルであるHerBERTが訓練される。
論文 参考訳(メタデータ) (2021-05-04T20:16:17Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2020-04-29T14:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。