Fugu-MT 論文翻訳(概要): Sublanguage: A Serious Issue Affects Pretrained Models in Legal Domain

論文の概要: Sublanguage: A Serious Issue Affects Pretrained Models in Legal Domain

arxiv url: http://arxiv.org/abs/2104.07782v1
Date: Thu, 15 Apr 2021 21:25:53 GMT
ステータス: 処理完了
システム内更新日: 2021-04-19 14:38:23.562157
Title: Sublanguage: A Serious Issue Affects Pretrained Models in Legal Domain
Title（参考訳）: サブ言語: 法律ドメインの事前訓練モデルに影響を与える重大な問題
Authors: Ha-Thanh Nguyen, Le-Minh Nguyen
Abstract要約: 法的英語は、誰にとっても重要だが、誰にとっても理解できないサブ言語である。これらのモデルが法律のサブ言語の知識なしに実際に適用された場合、それは無駄または危険です。
参考スコア（独自算出の注目度）: 4.518012967046983
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Legal English is a sublanguage that is important for everyone but not for everyone to understand. Pretrained models have become best practices among current deep learning approaches for different problems. It would be a waste or even a danger if these models were applied in practice without knowledge of the sublanguage of the law. In this paper, we raise the issue and propose a trivial solution by introducing BERTLaw a legal sublanguage pretrained model. The paper's experiments demonstrate the superior effectiveness of the method compared to the baseline pretrained model
Abstract（参考訳）: 法的な英語はすべての人にとって重要であるが、誰でも理解できるものではない。トレーニング済みモデルは、さまざまな問題に対する現在のディープラーニングアプローチの中でベストプラクティスになっています。もしこれらのモデルが法律のサブ言語を知らずに実際に適用されたら、それは無駄だろうし、危険かもしれない。本稿では,BERTLawを法定サブ言語事前学習モデルとして導入することで,問題を提起し,簡単な解法を提案する。ベースライン事前学習モデルと比較して,本手法の有効性を実証する実験を行った。

関連論文リスト

PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment [68.20851615263953]
大規模な言語モデルは、英語中心の事前訓練にもかかわらず、合理的な多言語能力を示す。これらのモデルにおける自発的な多言語アライメントは弱く、不満足な言語間移動と知識共有をもたらす。言語モデル事前学習に先立って多言語アライメントを確立するフレームワークであるPreAlignを提案する。
論文参考訳（メタデータ） (2024-07-23T06:59:53Z)
Legal Documents Drafting with Fine-Tuned Pre-Trained Large Language Model [1.3812010983144798]
本稿では,中国語の分節化を伴わずに多数の注釈のない法律文書を活用でき,大規模言語モデルを微調整できることを示す。また、法的文書草案作成作業も達成でき、同時に情報プライバシーの保護と情報セキュリティ問題の改善も達成できる。
論文参考訳（メタデータ） (2024-06-06T16:00:20Z)
ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
論文参考訳（メタデータ） (2022-12-16T05:15:41Z)
Extending the Subwording Model of Multilingual Pretrained Models for New Languages [31.702393348980735]
本稿では,SentencePieceトークンに新たなサブワードを追加し,多言語事前学習モデルを新しい言語に適用する。実験では、すでに訓練済みの言語のセグメンテーションを変更することなく、Inuktitut文をサブワードに分割した。
論文参考訳（メタデータ） (2022-11-29T06:55:34Z)
Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文参考訳（メタデータ） (2022-10-23T00:37:08Z)
How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2021-12-22T05:04:41Z)
bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文参考訳（メタデータ） (2021-10-14T04:05:25Z)
Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文参考訳（メタデータ） (2021-05-09T09:39:25Z)
HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish [4.473327661758546]
本論文では,ポーランド語に焦点をあてた最初のアブレーション研究について述べる。多言語モデルから単言語モデルへの知識伝達の事前学習手順を設計・評価します。提案された手順に基づいて、ポーランドのBERTベースの言語モデルであるHerBERTが訓練される。
論文参考訳（メタデータ） (2021-05-04T20:16:17Z)
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。