論文の概要: Fine-Tuning Large Language Models for Stock Return Prediction Using Newsflow

• arxiv url: http://arxiv.org/abs/2407.18103v2
• Date: Mon, 5 Aug 2024 11:13:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 23:07:02.255372
• Title: Fine-Tuning Large Language Models for Stock Return Prediction Using Newsflow
• Title（参考訳）: ニューズフローを用いたストックリターン予測のための微調整大言語モデル
• Authors: Tian Guo, Emmanuel Hauptmann,
• Abstract要約: 大規模言語モデル(LLM)とその微調整技術は、様々な言語理解および生成タスクにおいて優れた性能を示している。 本稿では,金融ニュースフローを用いた株価リターン予測のための微調整LDMについて検討する。
• 参考スコア（独自算出の注目度）: 3.3218982605811114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) and their fine-tuning techniques have demonstrated superior performance in various language understanding and generation tasks. This paper explores fine-tuning LLMs for stock return forecasting with financial newsflow. In quantitative investing, return forecasting is fundamental for subsequent tasks like stock picking, portfolio optimization, etc. We formulate the model to include text representation and forecasting modules. We propose to compare the encoder-only and decoder-only LLMs, considering they generate text representations in distinct ways. The impact of these different representations on forecasting performance remains an open question. Meanwhile, we compare two simple methods of integrating LLMs' token-level representations into the forecasting module. The experiments on real news and investment universes reveal that: (1) aggregated representations from LLMs' token-level embeddings generally produce return predictions that enhance the performance of long-only and long-short portfolios; (2) in the relatively large investment universe, the decoder LLMs-based prediction model leads to stronger portfolios, whereas in the small universes, there are no consistent winners. Among the three LLMs studied (DeBERTa, Mistral, Llama), Mistral performs more robustly across different universes; (3) return predictions derived from LLMs' text representations are a strong signal for portfolio construction, outperforming conventional sentiment scores.
• Abstract（参考訳）: 大規模言語モデル(LLM)とその微調整技術は、様々な言語理解および生成タスクにおいて優れた性能を示している。 本稿では,金融ニュースフローを用いた株価リターン予測のための微調整LDMについて検討する。 量的投資において、リターン予測は、株式の選定やポートフォリオの最適化といったその後のタスクに不可欠である。 テキスト表現と予測モジュールを含むようにモデルを定式化する。 本稿では,エンコーダのみのLLMとデコーダのみのLLMを比較し,異なる方法でテキスト表現を生成することを提案する。 これらの異なる表現が予測性能に与える影響は、まだ明らかな疑問である。 一方、LLMのトークンレベルの表現を予測モジュールに統合する2つの簡単な方法を比較する。 1) LLMのトークンレベルの埋め込みから集約された表現は、一般的には、長短のポートフォリオと長短のポートフォリオのパフォーマンスを高めるリターン予測を生成する。(2) 比較的大きな投資宇宙では、デコーダのLSMベースの予測モデルがより強力なポートフォリオをもたらすのに対し、小さな宇宙では、一貫した勝者は存在しない。 研究された3つのLSM(DeBERTa, Mistral, Llama)のうち、Mistralは異なる宇宙でより堅牢に動作し、(3) LLMのテキスト表現から導かれる戻り予測はポートフォリオ構築の強いシグナルであり、従来の感情スコアよりも優れている。

関連論文リスト

• A Law of Next-Token Prediction in Large Language Models [30.265295018979078]
  我々は,事前学習された大規模言語モデルにおいて,中間層を経由した文脈化トークン埋め込みの学習を規定する,正確かつ定量的な法則を導入する。 その結果, 各層は最下層から最上層までの予測精度の向上に等しく寄与していることがわかった。
  論文  参考訳（メタデータ） (2024-08-24T02:48:40Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• SLMRec: Empowering Small Language Models for Sequential Recommendation [38.51895517016953]
  シーケンシャルレコメンデーションタスクでは、過去のインタラクションを考慮して、ユーザが対話する可能性のある次の項目を予測する。 最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。 LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
  論文  参考訳（メタデータ） (2024-05-28T07:12:06Z)
• LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders [34.421335513040795]
  大規模デコーダのみの言語モデル(LLM)は、今日のNLPタスクとベンチマークのほとんどで最先端のモデルである。 LLM2Vecは、任意のデコーダのみのLCMを強力なテキストエンコーダに変換する、単純な教師なしアプローチである。
  論文  参考訳（メタデータ） (2024-04-09T02:51:05Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• Integrating Stock Features and Global Information via Large Language Models for Enhanced Stock Return Prediction [5.762650600435391]
  本稿では,大規模言語モデルと既存の定量的モデルを統合する上での課題を克服するために,2つのコンポーネントからなる新しいフレームワークを提案する。 我々はランク情報係数とリターンにおいて、特に中国A株市場における株価のみに依存したモデルと比較して、優れたパフォーマンスを示してきた。
  論文  参考訳（メタデータ） (2023-10-09T11:34:18Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。