論文の概要: Toward Improving Attentive Neural Networks in Legal Text Processing

• arxiv url: http://arxiv.org/abs/2203.08244v1
• Date: Tue, 15 Mar 2022 20:45:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 13:49:58.825109
• Title: Toward Improving Attentive Neural Networks in Legal Text Processing
• Title（参考訳）: 法的テキスト処理における注意ニューラルネットワークの改善に向けて
• Authors: Ha-Thanh Nguyen
• Abstract要約: 本論文では,自動文書処理における注意神経ネットワークの改善における主な成果について述べる。 言語モデルは大きくなる傾向にあるが、専門家の知識がなければ、これらのモデルはドメイン適応で失敗する可能性がある。
• 参考スコア（独自算出の注目度）: 0.20305676256390934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, thanks to breakthroughs in neural network techniques especially attentive deep learning models, natural language processing has made many impressive achievements. However, automated legal word processing is still a difficult branch of natural language processing. Legal sentences are often long and contain complicated legal terminologies. Hence, models that work well on general documents still face challenges in dealing with legal documents. We have verified the existence of this problem with our experiments in this work. In this dissertation, we selectively present the main achievements in improving attentive neural networks in automatic legal document processing. Language models tend to grow larger and larger, though, without expert knowledge, these models can still fail in domain adaptation, especially for specialized fields like law.
• Abstract（参考訳）: 近年、ニューラルネットワーク技術の進歩、特に注意深いディープラーニングモデルのおかげで、自然言語処理は多くの素晴らしい成果を上げている。 しかし、自動化された法的ワード処理は自然言語処理の難しい分野である。 法文はしばしば長く、複雑な法的用語を含んでいる。 したがって、一般的な文書でうまく機能するモデルは、法的文書を扱う際の課題に直面している。 我々は本研究における実験でこの問題の存在を確認した。 本論文では,自動法的文書処理における注意型ニューラルネットワークの改善の主な成果を選択的に提示する。 言語モデルは大きくなる傾向にあるが、専門家の知識がなければ、これらのモデルはドメイン適応、特に法律のような専門分野において失敗することがある。

関連論文リスト

• TransformLLM: Adapting Large Language Models via LLM-Transformed Reading Comprehension Text [5.523385345486362]
  法的な応用に特化して設計された言語モデルを開発した。 我々の革新的なアプローチは、Large Language Models (LLMs) を用いて、生のトレーニングデータを読解テキストに変換することによって、法的タスクの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-28T19:32:18Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Improving Legal Judgement Prediction in Romanian with Long Text Encoders [0.8933959485129375]
  我々は,LJP(Lawal Judgment Prediction)と呼ばれる訴訟の最終判決を予測するための専門的および一般モデルについて検討する。 本研究では,Transformerをベースとしたモデルのシーケンス長に拡張する手法に着目し,法的なコーパスに存在する長いドキュメントをよりよく理解する。
  論文  参考訳（メタデータ） (2024-02-29T13:52:33Z)
• LegalRelectra: Mixed-domain Language Modeling for Long-range Legal Text Comprehension [6.442209435258797]
  LegalRelectraは、混合ドメイン法と医療コーパスに基づいて訓練された法律ドメイン言語モデルである。 トレーニングアーキテクチャはElectraフレームワークを実装しているが,生成器と識別器にはBERTの代わりにReformerを使用している。
  論文  参考訳（メタデータ） (2022-12-16T00:15:14Z)
• NeuroCounterfactuals: Beyond Minimal-Edit Counterfactuals for Richer Data Augmentation [55.17069935305069]
  本稿では,緩やかな反ファクトとして設計されたNeuroCounterfactualsを紹介する。 我々の新しい生成的アプローチは、言語モデル適応による感情制御による制約付き復号化の利点を橋渡しする。
  論文  参考訳（メタデータ） (2022-10-22T06:29:21Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)
• Customizing Contextualized Language Models forLegal Document Reviews [0.22940141855172028]
  一般ドメインコーパスに歪んだ異なる言語モデルがどのように、法的文書レビュータスクに最適にカスタマイズできるかを示す。 本研究は,タスクのパフォーマンスと実践的考察の効率を比較検討する。
  論文  参考訳（メタデータ） (2021-02-10T22:14:15Z)
• Deep Learning for Text Style Transfer: A Survey [71.8870854396927]
  テキストスタイル転送は、生成したテキストの特定の属性を制御することを目的として、自然言語生成において重要なタスクである。 2017年の最初のニューラルテキストスタイル転送作業以降,100以上の代表的な記事を対象とした,ニューラルテキストスタイル転送の研究の体系的な調査を行う。 タスクの定式化、既存のデータセットとサブタスク、評価、並列データと非並列データの存在下での豊富な方法論について論じる。
  論文  参考訳（メタデータ） (2020-11-01T04:04:43Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)
• Knowledge-Aware Procedural Text Understanding with Multi-Stage Training [110.93934567725826]
  本稿では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点をあてる。 常識的推論の難しさとデータ不足という2つの課題はまだ未解決のままである。 我々は、複数の外部知識を効果的に活用する、KnOwledge-Aware ProceduraL text understAnding (KOALA)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-28T10:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。