論文の概要: Legal Domain Adaptation of Modern BERT Models

• arxiv url: http://arxiv.org/abs/2606.28538v1
• Date: Fri, 26 Jun 2026 18:44:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.596232
• Title: Legal Domain Adaptation of Modern BERT Models
• Title（参考訳）: 最新のBERTモデルの法領域適応
• Abstract要約: 我々は、マスク付き言語モデリングの目的を用いて、米国裁判所のすべての意見に基づいてModernBERTを事前訓練する。 米国裁判所の意見に関連付けられたすべてのデータセットにおいて,vanilla ModernBERTに比べ,大幅な改善が報告されている。 得られたモデルは、最大8,192個のトークンのシーケンスを処理でき、法的通過の意義ある埋め込みを計算するのに使うことができる。
• 参考スコア（独自算出の注目度）: 8.53286415967782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate domain adaptation of modern BERT models in the legal domain. We further pre-train ModernBERT on all US court opinions using the masked language modeling objective. Although ModernBERT has been trained on roughly 500x more data than original BERT, we still find that this model benefits from further pre-training and domain adaptation in the legal domain: we report significant improvements compared to vanilla ModernBERT on all datasets connected to US court opinions. We find gains similar to those reported in early work on domain adaptation of BERT-like models. However, from scratch pre-training does not match the performance of further pre-training an existing ModernBERT checkpoint in our experiments. The resulting models are capable of processing sequences up to 8,192 tokens, and can be used to compute meaningful embeddings of legal passages, or could quickly rerank hundreds of legal passages for a given search query. We release all model checkpoints publicly.
• Abstract（参考訳）: 法域における最新のBERTモデルのドメイン適応について検討する。 我々はさらに、マスク付き言語モデリングの目的を用いて、米国裁判所のすべての意見に基づいてModernBERTを事前訓練する。 ModernBERTは、オリジナルのBERTよりもおよそ500倍多くのデータでトレーニングされていますが、このモデルは、法的ドメインにおけるさらなる事前トレーニングとドメイン適応の恩恵を受けています。 BERTライクなモデルのドメイン適応に関する初期の研究で報告されたものと同様の利得が得られている。 しかし,スクラッチによる事前学習は,既存のModernBERTチェックポイントのさらなる事前学習のパフォーマンスと一致しない。 得られたモデルでは、最大8,192個のトークンのシーケンスを処理でき、法的パスの意味のある埋め込みを計算するために使用できる。 すべてのモデルチェックポイントを公開しています。

関連論文リスト

• llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Length [1.5857828218932415]
  本報告では,8192トークンの大規模コーパスをトレーニングしたModernBERTモデルであるllm-jp- Modernbertについて述べる。 我々のモデルは下流タスクの既存のベースラインを超えていないが、満杯テスト評価において良い結果が得られる。
  論文  参考訳（メタデータ） (2025-04-22T02:45:19Z)
• LegalTurk Optimized BERT for Multi-Label Text Classification and NER [0.0]
  多様なマスキング戦略を組み合わせることで、革新的な事前学習手法を導入する。 本研究では,法的領域における2つの重要なダウンストリームタスク,すなわち名義認識と多ラベルテキスト分類に焦点を当てる。 提案手法は,従来のBERTモデルと比較して,NERと複数ラベルのテキスト分類タスクにおいて有意な改善が認められた。
  論文  参考訳（メタデータ） (2024-06-30T10:19:54Z)
• To Tune or Not To Tune? Zero-shot Models for Legal Case Entailment [4.9069311006119865]
  多様なデータセットに微調整された事前訓練された言語モデルは、様々なドメイン外タスクにうまく転送可能であることを示す。 我々は,COLIEE 2021の判例提出作業に参加し,対象領域に適応しないモデルを用いた。 本実験は,事前学習型言語モデルの新しいパラダイムにおいて,直感に反する結果であることを確認した。
  論文  参考訳（メタデータ） (2022-02-07T13:02:48Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• JuriBERT: A Masked-Language Model Adaptation for French Legal Text [14.330469316695853]
  我々は、法律専門家を支援することを目的として、フランス語の法律文に適合する言語モデルを作成することに注力する。 いくつかの特定のタスクは、大量のデータに基づいて事前訓練された汎用言語モデルの恩恵を受けない、と結論付けている。 JuriBERTは、フランスの法律ドメインに適合したBERTモデルの新しいセットです。
  論文  参考訳（メタデータ） (2021-10-04T14:51:24Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)
• Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech [0.0]
  我々は,事前訓練されたニューラルネットワークモデル,XLNet(autoregressive),BERT(autoencoder)を比較し,分析する。 XLNet Modelは法定オピニオン分類のシーケンス分類タスクで、BERTはNERタスクで、より良い結果を生成する。 bertモデルをさらに法的ドメインに適用するために、ドメイン固有の事前トレーニングと追加の法的語彙を使用します。
  論文  参考訳（メタデータ） (2021-03-12T11:06:32Z)
• LEGAL-BERT: The Muppets straight out of Law School [52.53830441117363]
  我々は、BERTモデルを下流の法的タスクに適用するためのアプローチを検討し、複数のデータセットで評価する。 以上の結果から,事前学習と微調整のガイドラインが盲目的に従う場合が多いが,法域において必ずしも適切ではないことが示唆された。 LEGAL-BERTは、法的なNLP研究、計算法、法的な技術応用を支援するためのBERTモデルのファミリーである。
  論文  参考訳（メタデータ） (2020-10-06T09:06:07Z)
• ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
  BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。 そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。 新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
  論文  参考訳（メタデータ） (2020-08-06T07:43:19Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)
• DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
  BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。 本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。 実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。