論文の概要: Transformer-based Approaches for Legal Text Processing

• arxiv url: http://arxiv.org/abs/2202.06397v1
• Date: Sun, 13 Feb 2022 19:59:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 14:30:33.501167
• Title: Transformer-based Approaches for Legal Text Processing
• Title（参考訳）: 法的テキスト処理のためのトランスフォーマティブベースアプローチ
• Authors: Ha-Thanh Nguyen, Minh-Phuong Nguyen, Thi-Hai-Yen Vuong, Minh-Quan Bui, Minh-Chau Nguyen, Tran-Binh Dang, Vu Tran, Le-Minh Nguyen, Ken Satoh
• Abstract要約: 我々は,COLIEE 2021自動法テキスト処理コンペティションのさまざまな問題に対するトランスフォーマーモデルを用いたアプローチを紹介する。 トランスフォーマーをベースとした事前学習型言語モデルでは, 適切なアプローチで, 自動的な法的テキスト処理問題にうまく対応できることがわかった。
• 参考スコア（独自算出の注目度）: 3.4630926944621643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce our approaches using Transformer-based models for different problems of the COLIEE 2021 automatic legal text processing competition. Automated processing of legal documents is a challenging task because of the characteristics of legal documents as well as the limitation of the amount of data. With our detailed experiments, we found that Transformer-based pretrained language models can perform well with automated legal text processing problems with appropriate approaches. We describe in detail the processing steps for each task such as problem formulation, data processing and augmentation, pretraining, finetuning. In addition, we introduce to the community two pretrained models that take advantage of parallel translations in legal domain, NFSP and NMSP. In which, NFSP achieves the state-of-the-art result in Task 5 of the competition. Although the paper focuses on technical reporting, the novelty of its approaches can also be an useful reference in automated legal document processing using Transformer-based models.
• Abstract（参考訳）: 本稿では,co colie 2021 自動テキスト処理コンペティションにおける様々な問題に対して,トランスフォーマティブモデルを用いたアプローチを提案する。 法律文書の処理の自動化は, 法律文書の特徴とデータ量の制限のため, 難しい課題である。 詳細な実験により,トランスフォーマティブに基づく事前学習言語モデルが,適切なアプローチで自動法的テキスト処理問題とうまく対応できることが判明した。 本稿では,問題定式化やデータ処理,拡張,事前学習,微調整など,各タスクの処理手順について詳述する。 さらに、法域、NFSP、NMSPにおける並列翻訳を利用した2つの事前訓練モデルについても紹介する。 その場合、NFSPは競争のタスク5で最先端の結果を達成する。 本論文は技術的報告に重点を置いているが,その手法の新規性は,Transformerベースのモデルを用いた自動法的文書処理においても有用である。

関連論文リスト

• Improving Legal Entity Recognition Using a Hybrid Transformer Model and Semantic Filtering Approach [0.0]
  本稿では,法律テキスト処理用に微調整された変圧器モデルであるLegal-BERTの精度と精度を向上させる新しいハイブリッドモデルを提案する。 15,000の注釈付き法律文書のデータセット上で、F1スコア93.4%を達成し、従来の手法よりも精度とリコールが大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-10-11T04:51:28Z)
• Thread: A Logic-Based Data Organization Paradigm for How-To Question Answering with Retrieval Augmented Generation [49.36436704082436]
  ハウツー質問は意思決定プロセスに不可欠なものであり、動的でステップバイステップの回答を必要とする。 我々は,現在のシステムがハウツー質問をより効果的に扱えるようにするための新しいデータ組織パラダイムThreadを提案する。
  論文  参考訳（メタデータ） (2024-06-19T09:14:41Z)
• Refining Joint Text and Source Code Embeddings for Retrieval Task with Parameter-Efficient Fine-Tuning [0.0]
  そこで本研究では,それを利用した微調整フレームワークを提案する。 PEFT(Efficient Fine-Tuning)技術。 提案する微調整フレームワークは,最大で0.4%のパラメータをチューニングすることで,コードテキスト検索性能を向上させる可能性を実証した。
  論文  参考訳（メタデータ） (2024-05-07T08:50:25Z)
• Fighting crime with Transformers: Empirical analysis of address parsing methods in payment data [0.01499944454332829]
  本稿では,変換器と生成大言語モデル(LLM)の性能について検討する。 実世界のノイズの多いトランザクションデータを扱うことのできるロバストモデルのトレーニングの必要性を示す。 以上の結果から,早期ストラップを用いた微調整トランスフォーマーモデルの方が,他の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-04-08T16:04:26Z)
• Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
  逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。 我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。 分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
  論文  参考訳（メタデータ） (2023-06-08T15:25:24Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Zero-Shot Text Matching for Automated Auditing using Sentence Transformers [0.3078691410268859]
  本稿では, トランスフォーマーモデルであるSentence-Bertを用いた教師なしテキストマッチングの効率について, 財務パスのセマンティックな類似性に適用することによって検討する。 実験結果から,本モデルはドメイン内および外部データからの文書に対して堅牢であることがわかった。
  論文  参考訳（メタデータ） (2022-10-28T11:52:16Z)
• An Empirical Study of Automatic Post-Editing [56.86393786396992]
  APEは、機械翻訳出力のエラーを自動的に修正することで、手作業による後処理の労力を削減することを目的としている。 真のトレーニングデータの不足を軽減するため、現在のAPEシステムの多くは、大規模な人工コーパスを生成するためにデータ拡張手法を採用している。 本研究では,既存のAPEシステムにおける問題点を解析するために,難解なAPEデータセット上での最先端のAPEモデルの出力について検討する。
  論文  参考訳（メタデータ） (2022-09-16T07:38:27Z)
• CoCoMoT: Conformance Checking of Multi-Perspective Processes via SMT (Extended Version) [62.96267257163426]
  我々はCoCoMoT(Computing Conformance Modulo Theories)フレームワークを紹介する。 まず、純粋な制御フロー設定で研究したSATベースのエンコーディングを、データ認識ケースに持ち上げる方法を示す。 次に,プロパティ保存型クラスタリングの概念に基づく新しい前処理手法を提案する。
  論文  参考訳（メタデータ） (2021-03-18T20:22:50Z)
• Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
  このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
  論文  参考訳（メタデータ） (2020-10-13T15:20:32Z)
• Knowledge-Aware Procedural Text Understanding with Multi-Stage Training [110.93934567725826]
  本稿では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点をあてる。 常識的推論の難しさとデータ不足という2つの課題はまだ未解決のままである。 我々は、複数の外部知識を効果的に活用する、KnOwledge-Aware ProceduraL text understAnding (KOALA)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-28T10:28:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。