論文の概要: Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency

• arxiv url: http://arxiv.org/abs/2403.18152v1
• Date: Tue, 26 Mar 2024 23:32:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 18:55:29.760859
• Title: Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency
• Title（参考訳）: 財務データアノテータとしての大規模言語モデル:有効性と効率に関する研究
• Authors: Toyin Aguda, Suchetha Siddagangappa, Elena Kochkina, Simerjot Kaur, Dongsheng Wang, Charese Smiley, Sameena Shah,
• Abstract要約: LLM(Large Language Models)は、一般的なドメインデータセット上のデータアノテーションタスクにおいて、顕著なパフォーマンスを示す。 金融文書中の関係を抽出するための効率的なデータアノテータとしてのLCMの可能性について検討する。 我々は,現在最先端のLLMが,非熟練のクラウドワーカーに十分な代替手段であることを実証した。
• 参考スコア（独自算出の注目度）: 13.561104321425045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collecting labeled datasets in finance is challenging due to scarcity of domain experts and higher cost of employing them. While Large Language Models (LLMs) have demonstrated remarkable performance in data annotation tasks on general domain datasets, their effectiveness on domain specific datasets remains underexplored. To address this gap, we investigate the potential of LLMs as efficient data annotators for extracting relations in financial documents. We compare the annotations produced by three LLMs (GPT-4, PaLM 2, and MPT Instruct) against expert annotators and crowdworkers. We demonstrate that the current state-of-the-art LLMs can be sufficient alternatives to non-expert crowdworkers. We analyze models using various prompts and parameter settings and find that customizing the prompts for each relation group by providing specific examples belonging to those groups is paramount. Furthermore, we introduce a reliability index (LLM-RelIndex) used to identify outputs that may require expert attention. Finally, we perform an extensive time, cost and error analysis and provide recommendations for the collection and usage of automated annotations in domain-specific settings.
• Abstract（参考訳）: ラベル付きデータセットを財務に収集することは、ドメインエキスパートの不足とそれを利用するコストの高騰によって困難である。 大規模言語モデル(LLM)は、一般的なドメインデータセット上のデータアノテーションタスクにおいて顕著なパフォーマンスを示してきたが、ドメイン固有のデータセットに対するそれらの有効性はまだ未定である。 このギャップに対処するため,金融文書中の関係を抽出する効率的なデータアノテータとしてのLCMの可能性を検討する。 我々は,3つのLPM (GPT-4, PaLM 2, MPT Instruct) が生成するアノテーションを,専門家のアノテータやクラウドワーカーと比較した。 我々は,現在最先端のLLMが,非熟練のクラウドワーカーに十分な代替手段であることを実証した。 様々なプロンプトとパラメータ設定を用いてモデルを解析し、それらのグループに属する特定の例を提供することで、各関係グループに対してプロンプトをカスタマイズすることが最重要であることを示す。 さらに,専門家の注意を要する可能性のある出力を特定するために,信頼性指標(LLM-RelIndex)を導入する。 最後に、幅広い時間、コスト、エラー分析を行い、ドメイン固有の設定で自動アノテーションの収集と使用を推奨します。

関連論文リスト

• Learning to Predict Usage Options of Product Reviews with LLM-Generated Labels [14.006486214852444]
  複雑な自然言語タスクにおけるデータアノテートのための,少人数の学習者としてLLMを使用する手法を提案する。 カスタムモデルを学ぶことは、エネルギー効率とプライバシー対策を個別に制御する。 結果のデータの質が、サードパーティのベンダーサービスによって達成されたレベルを超えていることに気付きました。
  論文  参考訳（メタデータ） (2024-10-16T11:34:33Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• NIFTY Financial News Headlines Dataset [14.622656548420073]
  NIFTY Financial News Headlines データセットは,大規模言語モデル(LLM)を用いた金融市場予測の促進と進展を目的としている。 i) LLMの教師付き微調整(SFT)を目標とするNIFTY-LMと、(ii) NIFTY-RLと、(人からのフィードバックからの強化学習のような)アライメントメソッドに特化してフォーマットされたNIFTY-RLの2つの異なるモデルアプローチで構成されている。
  論文  参考訳（メタデータ） (2024-05-16T01:09:33Z)
• Multi-News+: Cost-efficient Dataset Cleansing via LLM-based Data Annotation [9.497148303350697]
  本稿では,LCMに基づくデータアノテーションの適用を拡大し,既存のデータセットの品質を向上させるケーススタディを提案する。 具体的には、連鎖や多数決のようなアプローチを利用して、人間のアノテーションを模倣し、Multi-Newsデータセットから無関係な文書を分類する。
  論文  参考訳（メタデータ） (2024-04-15T11:36:10Z)
• Large Language Models for Data Annotation: A Survey [49.8318827245266]
  LLM(Advanced Large Language Models)の出現は、データアノテーションの複雑なプロセスを自動化する前例のない機会を提供する。 この調査には、LLMが注釈付けできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションにLLMを使用する際の主な課題と制限に関する詳細な議論が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• Can Large Language Models Design Accurate Label Functions? [14.32722091664306]
  プログラム弱監督手法はラベル関数(LF)を用いて広範囲なデータセットの高速なラベル付けを容易にする プレトレーニング言語モデル(PLM)の最近の進歩は、様々なタスクにおいて大きな可能性を秘めている。 本研究では,LFの自動生成にPLMを利用するインタラクティブなフレームワークであるDataSculptを紹介する。
  論文  参考訳（メタデータ） (2023-11-01T15:14:46Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。