Fugu-MT 論文翻訳(概要): Improving Zero-Shot Text Matching for Financial Auditing with Large Language Models

論文の概要: Improving Zero-Shot Text Matching for Financial Auditing with Large Language Models

arxiv url: http://arxiv.org/abs/2308.06111v2
Date: Mon, 14 Aug 2023 07:45:17 GMT
ステータス: 処理完了
システム内更新日: 2023-08-15 10:16:58.369472
Title: Improving Zero-Shot Text Matching for Financial Auditing with Large Language Models
Title（参考訳）: 大型言語モデルによる財務監査のためのゼロショットテキストマッチングの改善
Authors: Lars Hillebrand, Armin Berger, Tobias Deu{\ss}er, Tim Dilmaghani, Mohamed Khaled, Bernd Kliem, R\"udiger Loitz, Maren Pielka, David Leonhard, Christian Bauckhage, Rafet Sifa
Abstract要約: 我々は、ドメイン固有に最適化されたトランスフォーマーベースのテキストマッチングソリューションと組み合わせて、最先端の大規模言語モデル(LLM)を活用する新しいレコメンデーションシステムZeroShotALIを提案する。 2段階のアプローチでは、まず、独自のBERTモデルを用いて、法的な要件ごとに最適な文書セクションを抽出し、次に、LLMを用いてこれらの選択をフィルタリングすることで、既存のアプローチよりも大幅に性能が向上することがわかった。
参考スコア（独自算出の注目度）: 2.842163527983814
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Auditing financial documents is a very tedious and time-consuming process. As of today, it can already be simplified by employing AI-based solutions to recommend relevant text passages from a report for each legal requirement of rigorous accounting standards. However, these methods need to be fine-tuned regularly, and they require abundant annotated data, which is often lacking in industrial environments. Hence, we present ZeroShotALI, a novel recommender system that leverages a state-of-the-art large language model (LLM) in conjunction with a domain-specifically optimized transformer-based text-matching solution. We find that a two-step approach of first retrieving a number of best matching document sections per legal requirement with a custom BERT-based model and second filtering these selections using an LLM yields significant performance improvements over existing approaches.
Abstract（参考訳）: 財務文書の監査は非常に面倒で時間を要するプロセスです。今日では、厳格な会計基準の法的要件ごとにレポートから関連するテキストを推奨するために、AIベースのソリューションを使用することで、すでに単純化されている。しかし、これらの手法は定期的に微調整される必要があり、産業環境に欠ける豊富な注釈付きデータを必要とする。そこでZeroShotALIは,最先端の大規模言語モデル(LLM)と,ドメイン固有に最適化されたトランスフォーマーベースのテキストマッチングソリューションを併用した,新しいレコメンデーションシステムである。 2段階のアプローチでは、まず、独自のBERTモデルを用いて、法的な要件ごとに最適な文書セクションを抽出し、次に、LLMを用いてこれらの選択をフィルタリングすることで、既存のアプローチよりも大幅に性能が向上することがわかった。

関連論文リスト

Enhanced Retrieval of Long Documents: Leveraging Fine-Grained Block Representations with Large Language Models [24.02950598944251]
文書の関連性評価の精度を高めることを目的とした,新しい,きめ細かいアプローチを提案する。提案手法はまず,長い文書をブロックに分割し,それぞれを LLM を用いて埋め込む。重み付け和法により,クエリブロック関連度スコアを集約し,ドキュメント全体のクエリに対する総合的なスコアを得る。
論文参考訳（メタデータ） (2025-01-28T16:03:52Z)
Boosting Private Domain Understanding of Efficient MLLMs: A Tuning-free, Adaptive, Universal Prompt Optimization Framework [60.26747209785186]
マルチモーダル大言語モデル(EMLLM)は、モデルのサイズと計算コストを削減し、しばしばリソース制約されたデバイスにデプロイされる。既存のオープンソースLMは、事前トレーニングプロセス中にプライベートドメイン固有のデータにアクセスすることは滅多にない。我々は,universtextbfunderlineAL textbfunderlinePrompt Optimization Framework, atextbfunderlineDaptivtextbfunderlineE, universtextbfunderlineAL textbfunderlinePrompt Optimization Frameworkを提案する。
論文参考訳（メタデータ） (2024-12-27T15:21:17Z)
Optimizing Multi-Stage Language Models for Effective Text Retrieval [0.0]
本稿では,日本語の法的データセットに最適化された2相テキスト検索パイプラインを提案する。提案手法は,高度な言語モデルを用いて最先端の性能を実現する。堅牢性と適応性をさらに向上するため,複数の検索戦略を統合するアンサンブルモデルを組み込んだ。
論文参考訳（メタデータ） (2024-12-26T16:05:19Z)
Adaptive Two-Phase Finetuning LLMs for Japanese Legal Text Retrieval [6.058427379240698]
本稿では,日本語の法的文脈に特化して設計された新しいデータセットを提案する。第一段階では、このモデルはグローバルな文脈を広く理解し、その一般化を強化する。第2段階では、モデルは法的なシナリオに特有の複雑なクエリに対処するように微調整される。我々のパイプラインは英語の文脈で有効であることが証明され、MS MARCOデータセットのベースラインに匹敵する。
論文参考訳（メタデータ） (2024-12-03T10:52:49Z)
APrompt4EM: Augmented Prompt Tuning for Generalized Entity Matching [5.92432068962337]
Generalized Entity Matching (GEM)は、異なるフォーマットで表される2つのレコードが同じ現実世界のエンティティを指すかどうかを判定することを目的としている。本稿では,2つの主な改善点からなる課題に対する拡張的プロンプトチューニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-08T05:38:56Z)
Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文参考訳（メタデータ） (2024-03-21T13:52:30Z)
LlamaRec: Two-Stage Recommendation using Large Language Models for Ranking [10.671747198171136]
ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。 LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
論文参考訳（メタデータ） (2023-10-25T06:23:48Z)
MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
論文参考訳（メタデータ） (2022-12-16T17:36:23Z)
Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
論文参考訳（メタデータ） (2022-05-15T12:58:35Z)
Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文参考訳（メタデータ） (2021-05-31T21:14:58Z)
Conditioned Text Generation with Transfer for Closed-Domain Dialogue Systems [65.48663492703557]
条件付き変分オートエンコーダを用いて,意図特化文の生成を最適に学習し,制御する方法を示す。クエリ転送と呼ばれる新しいプロトコルを導入し、大規模で遅延のないデータセットを活用できるようにします。
論文参考訳（メタデータ） (2020-11-03T14:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。