論文の概要: Customizing Contextualized Language Models forLegal Document Reviews

• arxiv url: http://arxiv.org/abs/2102.05757v1
• Date: Wed, 10 Feb 2021 22:14:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-12 14:27:32.034191
• Title: Customizing Contextualized Language Models forLegal Document Reviews
• Title（参考訳）: コンテキスト言語モデルをカスタマイズするLegal Document Reviews
• Authors: Shohreh Shaghaghian, Luna (Yue) Feng, Borna Jafarpour, Nicolai Pogrebnyakov
• Abstract要約: 一般ドメインコーパスに歪んだ異なる言語モデルがどのように、法的文書レビュータスクに最適にカスタマイズできるかを示す。 本研究は,タスクのパフォーマンスと実践的考察の効率を比較検討する。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Inspired by the inductive transfer learning on computer vision, many efforts have been made to train contextualized language models that boost the performance of natural language processing tasks. These models are mostly trained on large general-domain corpora such as news, books, or Wikipedia.Although these pre-trained generic language models well perceive the semantic and syntactic essence of a language structure, exploiting them in a real-world domain-specific scenario still needs some practical considerations to be taken into account such as token distribution shifts, inference time, memory, and their simultaneous proficiency in multiple tasks. In this paper, we focus on the legal domain and present how different language model strained on general-domain corpora can be best customized for multiple legal document reviewing tasks. We compare their efficiencies with respect to task performances and present practical considerations.
• Abstract（参考訳）: コンピュータビジョンにおける帰納的トランスファー学習に触発され、自然言語処理タスクの性能を高める文脈化言語モデルのトレーニングに多くの取り組みがなされている。 これらのモデルは、主にニュース、書籍、wikipediaのような大きな一般ドメインコーパスで訓練されている。これらの事前訓練されたジェネリック言語モデルは、言語構造の意味的および構文的本質をよく認識しているが、現実世界のドメイン固有のシナリオでそれらを利用するには、トークンの分配シフト、推論時間、記憶、そして複数のタスクにおける同時能力など、いくつかの実用的な考慮が必要である。 本稿では、法律領域に注目し、汎用ドメインコーパスに重きを置く異なる言語モデルが、複数の法律文書レビュータスクに最適なカスタマイズが可能であることを示す。 本研究は,タスクのパフォーマンスと実践的考察の効率を比較検討する。

関連論文リスト

• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Adapting Large Language Models to Domains via Reading Comprehension [86.24451681746676]
  ドメイン固有コーパスの事前学習が大規模言語モデルに与える影響について検討する。 生のコーパスでのトレーニングはドメイン知識でモデルを養うが、問合せ能力を大幅に損なう。 生コーパスを可読テキストに変換する簡単な方法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T07:17:52Z)
• On the cross-lingual transferability of multilingual prototypical models across NLU tasks [2.44288434255221]
  教師付きディープラーニングベースのアプローチはタスク指向のダイアログに適用され、限られたドメインや言語アプリケーションに有効であることが証明されている。 実際には、これらのアプローチはドメイン駆動設計とアンダーリソース言語の欠点に悩まされている。 本稿では,原型ニューラルネットワークと多言語トランスフォーマーモデルを用いた相乗的少数ショット学習の言語間変換可能性について検討する。
  論文  参考訳（メタデータ） (2022-07-19T09:55:04Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• Lex Rosetta: Transfer of Predictive Models Across Languages, Jurisdictions, and Legal Domains [40.58709137006848]
  言語間で転送可能なGRU(Gated Recurrent Units)を用いたシーケンスラベリングモデルにおけるLanguage-Agnostic Sentence Representationsの使用を分析する。 トレーニング対象のコンテキストを超えて,モデルが一般化されることが分かりました。 複数のコンテキストでモデルをトレーニングすることで、ロバスト性が向上し、これまで見つからなかったコンテキストで評価する際の全体的なパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-15T04:53:13Z)
• Cross-Lingual Fine-Grained Entity Typing [26.973783464706447]
  本稿では,100以上の言語を処理可能な,言語間を包含したエンティティタイピングモデルを提案する。 このモデルが学習中に見つからない言語やエンティティに一般化する能力について分析する。
  論文  参考訳（メタデータ） (2021-10-15T03:22:30Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。