論文の概要: Improving Zero-Shot Text Matching for Financial Auditing with Large Language Models

• arxiv url: http://arxiv.org/abs/2308.06111v1
• Date: Fri, 11 Aug 2023 12:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 14:05:38.334772
• Title: Improving Zero-Shot Text Matching for Financial Auditing with Large Language Models
• Title（参考訳）: 大型言語モデルによる財務監査のためのゼロショットテキストマッチングの改善
• Authors: Lars Hillebrand, Armin Berger, Tobias Deu{\ss}er, Tim Dilmaghani, Mohamed Khaled, Bernd Kliem, R\"udiger Loitz, Maren Pielka, David Leonhard, Christian Bauckhage, Rafet Sifa
• Abstract要約: 我々は、ドメイン固有に最適化されたトランスフォーマーベースのテキストマッチングソリューションと組み合わせて、最先端の大規模言語モデル(LLM)を活用する新しいレコメンデーションシステムZeroShotALIを提案する。 2段階のアプローチでは、まず、独自のBERTモデルを用いて、法的な要件ごとに最適な文書セクションを抽出し、次に、LLMを用いてこれらの選択をフィルタリングすることで、既存のアプローチよりも大幅に性能が向上することがわかった。
• 参考スコア（独自算出の注目度）: 1.6110442399292346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Auditing financial documents is a very tedious and time-consuming process. As of today, it can already be simplified by employing AI-based solutions to recommend relevant text passages from a report for each legal requirement of rigorous accounting standards. However, these methods need to be fine-tuned regularly, and they require abundant annotated data, which is often lacking in industrial environments. Hence, we present ZeroShotALI, a novel recommender system that leverages a state-of-the-art large language model (LLM) in conjunction with a domain-specifically optimized transformer-based text-matching solution. We find that a two-step approach of first retrieving a number of best matching document sections per legal requirement with a custom BERT-based model and second filtering these selections using an LLM yields significant performance improvements over existing approaches.
• Abstract（参考訳）: 財務文書の監査は非常に面倒で時間を要するプロセスです。 今日では、厳格な会計基準の法的要件ごとにレポートから関連するテキストを推奨するために、AIベースのソリューションを使用することで、すでに単純化されている。 しかし、これらの手法は定期的に微調整される必要があり、産業環境に欠ける豊富な注釈付きデータを必要とする。 そこでZeroShotALIは,最先端の大規模言語モデル(LLM)と,ドメイン固有に最適化されたトランスフォーマーベースのテキストマッチングソリューションを併用した,新しいレコメンデーションシステムである。 2段階のアプローチでは、まず、独自のBERTモデルを用いて、法的な要件ごとに最適な文書セクションを抽出し、次に、LLMを用いてこれらの選択をフィルタリングすることで、既存のアプローチよりも大幅に性能が向上することがわかった。

関連論文リスト

• A Small Claims Court for the NLP: Judging Legal Text Classification Strategies With Small Datasets [0.0]
  本稿では,小ラベル付きデータセットと大量の未ラベルデータの使用を最適化するための最善の戦略について検討する。 我々は,ブラジルの検察官事務所に要求の記録を用いて,対象の1つに記述を割り当てる。 その結果, BERTとデータ拡張, 半教師付き学習戦略を併用したUnsupervised Data Augmentation (UDA) が得られた。
  論文  参考訳（メタデータ） (2024-09-09T18:10:05Z)
• ConVerSum: A Contrastive Learning-based Approach for Data-Scarce Solution of Cross-Lingual Summarization Beyond Direct Equivalents [4.029675201787349]
  言語間の要約は自然言語処理の洗練された分野である。 高品質なCLSデータがない場合、CLSには実現可能な解決策がない。 コントラスト学習のパワーを活かしたCLSのための新しいデータ効率のアプローチであるConVerSumを提案する。
  論文  参考訳（メタデータ） (2024-08-17T19:03:53Z)
• APrompt4EM: Augmented Prompt Tuning for Generalized Entity Matching [5.92432068962337]
  Generalized Entity Matching (GEM)は、異なるフォーマットで表される2つのレコードが同じ現実世界のエンティティを指すかどうかを判定することを目的としている。 本稿では,2つの主な改善点からなる課題に対する拡張的プロンプトチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-08T05:38:56Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• LlamaRec: Two-Stage Recommendation using Large Language Models for Ranking [10.671747198171136]
  ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。 特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。 LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
  論文  参考訳（メタデータ） (2023-10-25T06:23:48Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• LAWDR: Language-Agnostic Weighted Document Representations from Pre-trained Models [8.745407715423992]
  言語間文書表現は、多言語コンテキストにおける言語理解を可能にする。 BERT、XLM、XLM-RoBERTaのような大規模な事前学習言語モデルは、文レベルの下流タスクを微調整することで大きな成功を収めた。
  論文  参考訳（メタデータ） (2021-06-07T07:14:00Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Conditioned Text Generation with Transfer for Closed-Domain Dialogue Systems [65.48663492703557]
  条件付き変分オートエンコーダを用いて,意図特化文の生成を最適に学習し,制御する方法を示す。 クエリ転送と呼ばれる新しいプロトコルを導入し、大規模で遅延のないデータセットを活用できるようにします。
  論文  参考訳（メタデータ） (2020-11-03T14:06:10Z)
• Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering [54.541952928070344]
  文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。 非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
  論文  参考訳（メタデータ） (2020-09-18T23:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。