論文の概要: Parameter-Efficient Legal Domain Adaptation

• arxiv url: http://arxiv.org/abs/2210.13712v1
• Date: Tue, 25 Oct 2022 02:14:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 14:29:45.500562
• Title: Parameter-Efficient Legal Domain Adaptation
• Title（参考訳）: パラメータ効率のよい法領域適応
• Authors: Jonathan Li, Rohan Bhambhoria, Xiaodan Zhu
• Abstract要約: 本稿では,法定事前学習を行うために,公共の法律フォーラムから収集された膨大な教師なしの法定データを用いて,パラメータ効率の高い法定ドメイン適応を提案する。 提案手法は,モデルパラメータの約0.1%をチューニングしながら,既存モデルのショット性能を上回るか,あるいは一致させる。 我々の知る限りでは、この研究は、言語モデルを法域に向けてチューニングするパラメータ効率の高い手法を最初に探求するものである。
• 参考スコア（独自算出の注目度）: 39.51442413250532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Seeking legal advice is often expensive. Recent advancement in machine learning for solving complex problems can be leveraged to help make legal services more accessible to the public. However, real-life applications encounter significant challenges. State-of-the-art language models are growing increasingly large, making parameter-efficient learning increasingly important. Unfortunately, parameter-efficient methods perform poorly with small amounts of data, which are common in the legal domain (where data labelling costs are high). To address these challenges, we propose parameter-efficient legal domain adaptation, which uses vast unsupervised legal data from public legal forums to perform legal pre-training. This method exceeds or matches the fewshot performance of existing models such as LEGAL-BERT on various legal tasks while tuning only approximately 0.1% of model parameters. Additionally, we show that our method can achieve calibration comparable to existing methods across several tasks. To the best of our knowledge, this work is among the first to explore parameter-efficient methods of tuning language models toward the legal domain.
• Abstract（参考訳）: 法的助言を求めることはしばしば高価である。 複雑な問題を解決するための機械学習の最近の進歩は、法的なサービスをより一般にアクセスしやすくするために活用できる。 しかし、現実のアプリケーションには大きな課題がある。 最先端の言語モデルはますます大きくなり、パラメータ効率の学習がますます重要になっている。 残念なことに、パラメータ効率のよい手法は、法域(データラベリングコストが高い)でよく見られる、少量のデータでは不十分である。 そこで本研究では,公的な法務フォーラムからの膨大な教師なし法データを用いて法務事前学習を行う,パラメーター効率のよい法領域適応を提案する。 この方法は、LEGAL-BERTのような既存のモデルの様々な法的タスクにおいて、モデルのパラメータの約0.1%を調整しながら、ショットのパフォーマンスを上回るか一致させる。 また,本手法は複数のタスクにまたがる既存の手法に匹敵するキャリブレーションを実現できることを示す。 我々の知る限りでは、この研究は、言語モデルを法域に向けてチューニングするパラメータ効率の高い手法を最初に探求するものである。

関連論文リスト

• TransformLLM: Adapting Large Language Models via LLM-Transformed Reading Comprehension Text [5.523385345486362]
  法的な応用に特化して設計された言語モデルを開発した。 我々の革新的なアプローチは、Large Language Models (LLMs) を用いて、生のトレーニングデータを読解テキストに変換することによって、法的タスクの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-28T19:32:18Z)
• LawLLM: Law Large Language Model for the US Legal System [43.13850456765944]
  我々は,米国法域に特化して設計されたマルチタスクモデルであるLawLLM(Law Large Language Model)を紹介する。 類似症例検索(SCR)、PCR(Precedent Case Recommendation)、LJP(Lawal Judgment Prediction)においてLawLLMが優れている そこで本研究では,各タスクに対して,生の法定データをトレーニング可能な形式に変換する,カスタマイズされたデータ前処理手法を提案する。
  論文  参考訳（メタデータ） (2024-07-27T21:51:30Z)
• Optimizing Numerical Estimation and Operational Efficiency in the Legal Domain through Large Language Models [13.067312163677933]
  本稿では,Large Language Modelsと特殊設計のプロンプトを統合して,法的な人工知能(LegalAI)アプリケーションにおける精度要件に対処する手法を提案する。 本手法を検証するために,精度指向の LegalAI タスクに適したキュレートデータセットを提案する。
  論文  参考訳（メタデータ） (2024-07-26T18:46:39Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• Automated Argument Generation from Legal Facts [6.057773749499076]
  法律体系に提出される事件の数は、ある国の法律専門家の数よりもはるかに多い。 本研究では,訴訟分析の過程において,法的専門家を支援することに焦点を当てた。 実験結果から,ベストパフォーマンスメソッドから生成された引数は,ベンチマークセットのゴールド標準アノテーションと平均63%の重なりを持つことがわかった。
  論文  参考訳（メタデータ） (2023-10-09T12:49:35Z)
• Chatlaw: A Multi-Agent Collaborative Legal Assistant with Knowledge Graph Enhanced Mixture-of-Experts Large Language Model [30.30848216845138]
  ChatlawはMixture-of-Experts(MoE)モデルとマルチエージェントシステムを利用した革新的な法的アシスタントである。 知識グラフと人工スクリーニングを組み合わせることで,MoEモデルをトレーニングするための高品質な法的データセットを構築する。 弊社のMoEモデルは,法律専門家のGPT-4とUnified Exam Qualificationをそれぞれ7.73%,11ポイントで上回っている。
  論文  参考訳（メタデータ） (2023-06-28T10:48:34Z)
• SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval [75.05173891207214]
  判例検索は知的法体系において中心的な役割を果たす。 既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。 本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T10:47:01Z)
• Canary in a Coalmine: Better Membership Inference with Ensembled Adversarial Queries [53.222218035435006]
  私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。 我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
  論文  参考訳（メタデータ） (2022-10-19T17:46:50Z)
• Towards a Unified View of Parameter-Efficient Transfer Learning [108.94786930869473]
  下流タスクにおける大規模事前学習言語モデルの微調整は、NLPにおけるデファクト学習パラダイムとなっている。 近年の研究では,少数の(外部)パラメータのみを微調整するだけで高い性能が得られるパラメータ効率の伝達学習法が提案されている。 我々は、最先端のパラメータ効率変換学習手法の設計を分解し、それらの相互接続を確立する統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:26Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。