論文の概要: Fine-tuning and Utilization Methods of Domain-specific LLMs

• arxiv url: http://arxiv.org/abs/2401.02981v1
• Date: Mon, 1 Jan 2024 06:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 09:33:26.710131
• Title: Fine-tuning and Utilization Methods of Domain-specific LLMs
• Title（参考訳）: ドメイン固有LLMの微調整と利用法
• Authors: Cheonsu Jeong
• Abstract要約: 本研究では,ドメイン固有LLMの微調整と活用のアプローチについて検討する。 データセットの選択、前処理、モデルの選択、金融におけるLLMの微調整に不可欠な考慮について詳述する。 本研究は、金融分野におけるLLMの可能性を探り、限界を特定し、改善の方向性を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent releases of pre-trained Large Language Models (LLMs) have gained considerable traction, yet research on fine-tuning and employing domain-specific LLMs remains scarce. This study investigates approaches for fine-tuning and leveraging domain-specific LLMs, highlighting trends in LLMs, foundational models, and methods for domain-specific pre-training. Focusing on the financial sector, it details dataset selection, preprocessing, model choice, and considerations crucial for LLM fine-tuning in finance. Addressing the unique characteristics of financial data, the study explores the construction of domain-specific vocabularies and considerations for security and regulatory compliance. In the practical application of LLM fine-tuning, the study outlines the procedure and implementation for generating domain-specific LLMs in finance. Various financial cases, including stock price prediction, sentiment analysis of financial news, automated document processing, research, information extraction, and customer service enhancement, are exemplified. The study explores the potential of LLMs in the financial domain, identifies limitations, and proposes directions for improvement, contributing valuable insights for future research. Ultimately, it advances natural language processing technology in business, suggesting proactive LLM utilization in financial services across industries.
• Abstract（参考訳）: 近年のLLM(Pre-trained Large Language Models)のリリースは大きな注目を集めている。 本研究では,LLMの微調整と活用のアプローチ,LLMの動向,基礎モデル,ドメイン固有の事前学習手法について検討する。 金融セクターに焦点をあてて、データセットの選択、前処理、モデル選択、金融のLLM微調整に不可欠な考慮事項を詳述している。 本研究は,金融データの特異な特徴に対処し,ドメイン固有の語彙の構築と,セキュリティと規制の遵守について考察する。 LLMファインチューニングの実践的応用として,金融分野でのドメイン固有LLMの生成手順と実装について概説する。 株価予測、金融ニュースの感情分析、自動文書処理、調査、情報抽出、顧客サービス強化など様々な金融事例を例示する。 本研究は、金融分野におけるLLMの可能性を探り、限界を特定し、改善の方向性を提案し、今後の研究に有用な洞察を提供する。 最終的に、ビジネスにおける自然言語処理技術を進歩させ、業界全体での金融サービスにおける積極的にLLMの利用を示唆している。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Demystifying Domain-adaptive Post-training for Financial LLMs [79.581577578952]
  FINDAPは、大規模言語モデル(LLM)のドメイン適応後学習に関する体系的できめ細かな研究である このアプローチは、FinCap、FinRec、FinTrain、FinEvalの4つの重要なコンポーネントで構成されています。 結果として得られるモデルであるLlama-Finは、幅広い財務タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-01-09T04:26:15Z)
• Auto-Generating Earnings Report Analysis via a Financial-Augmented LLM [1.3597551064547502]
  本稿では,収益報告分析を自動生成する LLM の開発という,新たな課題を提案する。 我々の手法は、既存の決算報告の詳細な分析と、この目的のためにLCMを微調整するためのユニークなアプローチを含む。 広範な財務文書により、金融指導データを構築し、LLMを財務状況に適応させることを可能にした。
  論文  参考訳（メタデータ） (2024-12-11T08:09:42Z)
• A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges [60.546677053091685]
  大規模言語モデル(LLM)は金融分野における機械学習アプリケーションに新たな機会を開放した。 我々は、従来のプラクティスを変革し、イノベーションを促進する可能性に焦点を当て、様々な金融業務におけるLLMの適用について検討する。 本稿では,既存の文献を言語タスク,感情分析,財務時系列,財務推論,エージェントベースモデリング,その他の応用分野に分類するための調査を紹介する。
  論文  参考訳（メタデータ） (2024-06-15T16:11:35Z)
• A Reality check of the benefits of LLM in business [1.9181612035055007]
  大規模言語モデル(LLM)は、言語理解および生成タスクにおいて顕著なパフォーマンスを達成した。 ビジネスプロセスにおけるLCMの有用性と準備性について概説する。
  論文  参考訳（メタデータ） (2024-06-09T02:36:00Z)
• A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
  大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。 我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。 これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
  論文  参考訳（メタデータ） (2024-05-02T22:43:02Z)
• Revolutionizing Finance with LLMs: An Overview of Applications and Insights [45.660896719456886]
  ChatGPTのような大規模言語モデル(LLM)はかなり進歩しており、様々な分野に適用されている。 これらのモデルは、財務報告の自動生成、市場のトレンド予測、投資家の感情分析、パーソナライズされた財務アドバイスの提供に利用されています。
  論文  参考訳（メタデータ） (2024-01-22T01:06:17Z)
• Large Language Models in Finance: A Survey [12.243277149505364]
  大規模言語モデル(LLM)は、金融における人工知能応用の新しい可能性を開いた。 大規模言語モデル(LLM)の最近の進歩は、金融における人工知能応用の新しい可能性を開いた。
  論文  参考訳（メタデータ） (2023-09-28T06:04:04Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。