論文の概要: LEGAL-BERT: The Muppets straight out of Law School

• arxiv url: http://arxiv.org/abs/2010.02559v1
• Date: Tue, 6 Oct 2020 09:06:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 06:48:18.011088
• Title: LEGAL-BERT: The Muppets straight out of Law School
• Title（参考訳）: LEGAL-BERT: ロースクールから真っ直ぐ出るマペット
• Authors: Ilias Chalkidis, Manos Fergadiotis, Prodromos Malakasiotis, Nikolaos Aletras and Ion Androutsopoulos
• Abstract要約: 我々は、BERTモデルを下流の法的タスクに適用するためのアプローチを検討し、複数のデータセットで評価する。 以上の結果から,事前学習と微調整のガイドラインが盲目的に従う場合が多いが,法域において必ずしも適切ではないことが示唆された。 LEGAL-BERTは、法的なNLP研究、計算法、法的な技術応用を支援するためのBERTモデルのファミリーである。
• 参考スコア（独自算出の注目度）: 52.53830441117363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: BERT has achieved impressive performance in several NLP tasks. However, there has been limited investigation on its adaptation guidelines in specialised domains. Here we focus on the legal domain, where we explore several approaches for applying BERT models to downstream legal tasks, evaluating on multiple datasets. Our findings indicate that the previous guidelines for pre-training and fine-tuning, often blindly followed, do not always generalize well in the legal domain. Thus we propose a systematic investigation of the available strategies when applying BERT in specialised domains. These are: (a) use the original BERT out of the box, (b) adapt BERT by additional pre-training on domain-specific corpora, and (c) pre-train BERT from scratch on domain-specific corpora. We also propose a broader hyper-parameter search space when fine-tuning for downstream tasks and we release LEGAL-BERT, a family of BERT models intended to assist legal NLP research, computational law, and legal technology applications.
• Abstract（参考訳）: BERTはいくつかのNLPタスクで素晴らしいパフォーマンスを達成した。 しかし、専門分野における適応ガイドラインに関する調査は限られている。 ここでは、BERTモデルを下流の法的タスクに適用するためのいくつかのアプローチを検討し、複数のデータセットで評価する。 以上の結果から,事前学習と微調整に関する従来のガイドラインは,しばしば盲目的に従っているが,法的領域において必ずしも一般化していないことが示唆された。 そこで本研究では,特定ドメインにBERTを適用する際の戦略を体系的に検討する。 これらは (a)元のBERTを箱から使いなさい。 (b)領域固有のコーパスの追加事前訓練によりBERTを適応させ、 (c)ドメイン固有コーパスのスクラッチからプレトレインBERT。 また、下流タスクの微調整を行う際に、より広いパラメータ探索空間を提案し、法的なNLP研究、計算法則、法的な技術応用を支援するためのBERTモデルのファミリーであるLEGAL-BERTをリリースする。

関連論文リスト

• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• D-CPT Law: Domain-specific Continual Pre-Training Scaling Law for Large Language Models [53.622682408251755]
  本稿では,ドメイン固有の連続事前学習法(D-CPT法)のスケーリング法を提案し,最適混合比と許容するトレーニングコストを決定する。 具体的には、D-CPT法則を適合させることで、任意の混合比の一般および下流性能を容易に予測できる。 また、クロスドメイン設定に関する標準D-CPT法を拡張し、クロスドメインD-CPT法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:40:31Z)
• AraLegal-BERT: A pretrained language model for Arabic Legal text [0.399013650624183]
  AraLegal-BERTは双方向エンコーダトランスフォーマーベースのモデルで、徹底的にテストされ、慎重に最適化されている。 AraLegal-BERTを微調整し、3つの自然言語理解(NLU)タスクにおいて、アラビア語の3つのBERT変種に対して評価した。 その結果、AraLegal-BERTのベースバージョンは、法典テキストよりも一般的なBERTよりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-10-15T13:08:40Z)
• Enhancing Legal Argument Mining with Domain Pre-training and Neural Networks [0.45119235878273]
  文脈単語埋め込みモデルであるBERTは、限られた量の注釈付きデータで下流タスクにその能力を証明した。 BERTとその変種は、多くの学際的な研究領域における複雑なアノテーション作業の負担を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2022-02-27T21:24:53Z)
• Unsupervised Domain Generalization for Person Re-identification: A Domain-specific Adaptive Framework [50.88463458896428]
  ドメイン一般化(DG)は近年,人物再同定(ReID)において注目されている。 既存のメソッドは通常、ソースドメインにラベルを付ける必要があります。 本稿では、単純で効率的なドメイン固有適応化フレームワークを提案し、適応正規化モジュールで実現する。
  論文  参考訳（メタデータ） (2021-11-30T02:35:51Z)
• JuriBERT: A Masked-Language Model Adaptation for French Legal Text [14.330469316695853]
  我々は、法律専門家を支援することを目的として、フランス語の法律文に適合する言語モデルを作成することに注力する。 いくつかの特定のタスクは、大量のデータに基づいて事前訓練された汎用言語モデルの恩恵を受けない、と結論付けている。 JuriBERTは、フランスの法律ドメインに適合したBERTモデルの新しいセットです。
  論文  参考訳（メタデータ） (2021-10-04T14:51:24Z)
• When Does Pretraining Help? Assessing Self-Supervised Learning for Law and the CaseHOLD Dataset [2.0924876102146714]
  53,000以上の選択質問からなる新しいデータセットを提示し、引用されたケースの保持状況を特定する。 タスクがプリトレーニングコーパスと十分な類似性を示すと、ドメイン事前トレーニングが保証される可能性がある。 我々の研究結果は、研究者がいつリソース集約的な事前訓練を行うべきかを知らせ、Transformerベースのアーキテクチャも、異なる法的言語を示唆する埋め込みを学習することを示す。
  論文  参考訳（メタデータ） (2021-04-18T00:57:16Z)
• Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech [0.0]
  我々は,事前訓練されたニューラルネットワークモデル,XLNet(autoregressive),BERT(autoencoder)を比較し,分析する。 XLNet Modelは法定オピニオン分類のシーケンス分類タスクで、BERTはNERタスクで、より良い結果を生成する。 bertモデルをさらに法的ドメインに適用するために、ドメイン固有の事前トレーニングと追加の法的語彙を使用します。
  論文  参考訳（メタデータ） (2021-03-12T11:06:32Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• How Does NLP Benefit Legal System: A Summary of Legal Artificial Intelligence [81.04070052740596]
  法律人工知能(Legal AI)は、人工知能、特に自然言語処理の技術を適用して、法的領域におけるタスクに役立てることに焦点を当てている。 本稿では,LegalAIにおける研究の歴史,現状,今後の方向性について紹介する。
  論文  参考訳（メタデータ） (2020-04-25T14:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。