論文の概要: L3iTC at the FinLLM Challenge Task: Quantization for Financial Text Classification & Summarization

• arxiv url: http://arxiv.org/abs/2408.03033v1
• Date: Tue, 6 Aug 2024 08:25:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 14:37:26.505958
• Title: L3iTC at the FinLLM Challenge Task: Quantization for Financial Text Classification & Summarization
• Title（参考訳）: FinLLMチャレンジタスクにおけるL3iTC:ファイナンシャルテキスト分類と要約のための量子化
• Authors: Elvys Linhares Pontes, Carlos-Emiliano González-Gallardo, Mohamed Benjannet, Caryn Qu, Antoine Doucet,
• Abstract要約: FinLLM Challenge Task 2024は、タスク1、ファイナンシャルテキスト分類、タスク2、ファイナンシャルテキスト要約の2つの重要な領域に焦点を当てた。 各タスクのパフォーマンスを最適化するために,複数の大規模言語モデル (LLM) を微調整した。 我々のモデルはF1スコア0.7543の財務分類タスクで3位を獲得し、公式試験データセットの財務要約タスクで6位を確保した。
• 参考スコア（独自算出の注目度）: 2.111699987679628
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This article details our participation (L3iTC) in the FinLLM Challenge Task 2024, focusing on two key areas: Task 1, financial text classification, and Task 2, financial text summarization. To address these challenges, we fine-tuned several large language models (LLMs) to optimize performance for each task. Specifically, we used 4-bit quantization and LoRA to determine which layers of the LLMs should be trained at a lower precision. This approach not only accelerated the fine-tuning process on the training data provided by the organizers but also enabled us to run the models on low GPU memory. Our fine-tuned models achieved third place for the financial classification task with an F1-score of 0.7543 and secured sixth place in the financial summarization task on the official test datasets.
• Abstract（参考訳）: 本稿では、FinLLM Challenge Task 2024における我々の参加(L3iTC)について詳述し、タスク1、財務テキスト分類、タスク2の2つの重要な分野に焦点を当てる。 これらの課題に対処するため、各タスクのパフォーマンスを最適化するために、いくつかの大規模言語モデル(LLM)を微調整した。 具体的には、4ビット量子化とLoRAを用いて、LLMのどの層を低い精度でトレーニングすべきかを判定した。 このアプローチは、オーガナイザが提供するトレーニングデータの微調整プロセスを加速するだけでなく、低GPUメモリ上でモデルの実行を可能にしました。 F1スコア0.7543で財務分類タスクの3位を獲得し、公式試験データセットの財務要約タスクの6位を確保した。

関連論文リスト

• A Comparative Analysis of Instruction Fine-Tuning LLMs for Financial Text Classification [0.8192907805418583]
  大きな言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクにまたがる印象的な機能を示している。 本研究は,財務テキスト分類作業における指導用微調整の有効性について検討した。
  論文  参考訳（メタデータ） (2024-11-04T18:06:36Z)
• Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications [90.67346776473241]
  大規模言語モデル(LLM)は高度な金融アプリケーションを持っているが、十分な財務知識がなく、テーブルや時系列データといったマルチモーダル入力に関わるタスクに苦労することが多い。 我々は、総合的な財務知識をテキスト、テーブル、時系列データに組み込む一連の金融LLMであるtextitOpen-FinLLMsを紹介する。 また、複雑な財務データ型を扱うために、1.43Mの画像テキスト命令で訓練されたマルチモーダルLLMであるFinLLaVAについても紹介する。
  論文  参考訳（メタデータ） (2024-08-20T16:15:28Z)
• 'Finance Wizard' at the FinLLM Challenge Task: Financial Text Summarization [0.0]
  本稿では,基礎モデルを財務テキスト要約のためのタスク固有モデルに微調整するパイプラインアプローチについて述べる。 このモデルであるFinLlama3_sumは, ROUGE-1スコア0.521で3位となった。
  論文  参考訳（メタデータ） (2024-08-07T13:31:44Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• CFinBench: A Comprehensive Chinese Financial Benchmark for Large Language Models [61.324062412648075]
  CFinBenchは、中国の文脈下での大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークである。 この質問は、43の第二級カテゴリーにまたがる99,100の質問で構成されており、3つの質問タイプがある: シングルチョイス、マルチチョイス、そして判断である。 結果は、GPT4といくつかの中国指向モデルがベンチマークをリードし、平均精度は60.16%であることを示している。
  論文  参考訳（メタデータ） (2024-07-02T14:34:36Z)
• CatMemo at the FinLLM Challenge Task: Fine-Tuning Large Language Models using Data Fusion in Financial Applications [10.225210627594894]
  IJCAI-2024 FinLLMの課題に対して,金融業務の3つの重要な領域におけるLLMの能力について検討した。 金融分類、財務文書要約、単一株式取引について検討する。 提案手法は,これらの多様なタスクを包括的かつ総合的に処理することを目的としており,LLMの多様かつ複雑な財務課題への対処能力の向上と意思決定能力の向上を図っている。
  論文  参考訳（メタデータ） (2024-07-02T05:04:13Z)
• Token-Efficient Leverage Learning in Large Language Models [13.830828529873056]
  大規模言語モデル(LLM)は様々なタスクで優れていますが、高リソースのシナリオではより良く機能しています。 データ不足と特定のタスクにLLMを適用することの難しさは、この課題を複雑にしている。 本稿では,Token-Efficient Leverage Learning (TELL) と呼ばれる方法論の合理化実装を提案する。
  論文  参考訳（メタデータ） (2024-04-01T04:39:44Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• Pre-trained Large Language Models for Financial Sentiment Analysis [10.683185786541596]
  オープンソースのLlama2-7Bモデル(2023)を教師付き微調整(SFT)技術で適用する。 我々の手法は従来の最先端のアルゴリズムよりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-01-10T15:27:41Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。