論文の概要: Zero is Not Hero Yet: Benchmarking Zero-Shot Performance of LLMs for Financial Tasks

• arxiv url: http://arxiv.org/abs/2305.16633v1
• Date: Fri, 26 May 2023 05:13:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 16:59:17.530210
• Title: Zero is Not Hero Yet: Benchmarking Zero-Shot Performance of LLMs for Financial Tasks
• Title（参考訳）: ゼロはヒーローではない - LLMのゼロショットパフォーマンスのベンチマーク
• Authors: Agam Shah and Sudheer Chava
• Abstract要約: 最近、ChatGPTのような大きな言語モデル(LLM)は、ゼロショットで多くの自然言語処理タスクで素晴らしいパフォーマンスを示している。 ゼロショットモードにおけるChatGPTとオープンソースのジェネレーティブLLMの性能を,注釈付きデータに微調整したRoBERTaと比較した。 以上の結果から,ChatGPTはラベル付きデータなしでも良好に動作し,微調整モデルでは性能が良くないことがわかった。
• 参考スコア（独自算出の注目度）: 2.28438857884398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently large language models (LLMs) like ChatGPT have shown impressive performance on many natural language processing tasks with zero-shot. In this paper, we investigate the effectiveness of zero-shot LLMs in the financial domain. We compare the performance of ChatGPT along with some open-source generative LLMs in zero-shot mode with RoBERTa fine-tuned on annotated data. We address three inter-related research questions on data annotation, performance gaps, and the feasibility of employing generative models in the finance domain. Our findings demonstrate that ChatGPT performs well even without labeled data but fine-tuned models generally outperform it. Our research also highlights how annotating with generative models can be time-intensive. Our codebase is publicly available on GitHub under CC BY-NC 4.0 license.
• Abstract（参考訳）: 最近、ChatGPTのような大きな言語モデル(LLM)は、ゼロショットで多くの自然言語処理タスクで素晴らしいパフォーマンスを示している。 本稿では,金融分野におけるゼロショットLLMの有効性について検討する。 ゼロショットモードにおけるChatGPTとオープンソースのジェネレーティブLLMの性能を,注釈付きデータに微調整したRoBERTaと比較した。 データアノテーション、パフォーマンスギャップ、および金融領域における生成モデルの適用可能性に関する3つの関連研究課題に対処する。 以上の結果から,ChatGPTはラベル付きデータなしでも良好に動作し,微調整モデルでは性能が優れていた。 私たちの研究は、生成モデルによる注釈がいかに時間を要するかも強調しています。 私たちのコードベースは、CC BY-NC 4.0ライセンスの下でGitHubで公開されています。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking [36.90911173089409]
  大規模言語モデル(LLM)は、効果的なクエリ類似モデル(QLM)として登場した。 本稿では,近年のLLMにおけるゼロショットランキングの有効性について検討する。 LLMをベースとしたQLMとハイブリッドゼロショットレトリバーを統合した,最先端のランキングシステムを提案する。
  論文  参考訳（メタデータ） (2023-10-20T02:54:42Z)
• RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models [56.51705482912727]
  ゼロショット設定で高品質なリストワイドのランク付けを行うことができる初の完全オープンソースLCMである RankVicuna を提示する。 TREC 2019と2020 Deep Learning Tracksの実験結果から,GPT-4のゼロショットリランクに匹敵する効果が得られ,GPT-3.5よりもはるかに小さい7Bパラメータモデルが得られた。
  論文  参考訳（メタデータ） (2023-09-26T17:31:57Z)
• The False Promise of Imitating Proprietary LLMs [158.65692029352584]
  より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。 このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。 まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。 次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
  論文  参考訳（メタデータ） (2023-05-25T05:00:12Z)
• ZeroGen$^+$: Self-Guided High-Quality Data Generation in Efficient Zero-Shot Learning [97.2907428983142]
  ZeroGenは、純粋にPLMを使用してデータを生成し、タスク固有のアノテーションに頼ることなく、小さなモデルをトレーニングする。 金のデータを必要とせずに、サンプルごとの重み付けを学習できるノイズローバストなバイレベル再重み付けフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:38:48Z)
• ZeroGen: Efficient Zero-shot Learning via Dataset Generation [28.454620513642034]
  柔軟で効率的なゼロショート学習手法であるZeroGenについて検討する。 ゼロショットタスクが与えられた場合、まず、教師なしの方法で PLM を用いて、スクラッチからデータセットを生成する。 テキスト分類、質問応答、自然言語推論といった異なるNLPタスクの実験と分析は、ZeroGenの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-16T08:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。