論文の概要: Assessing Look-Ahead Bias in Stock Return Predictions Generated By GPT
Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2309.17322v1
- Date: Fri, 29 Sep 2023 15:30:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 13:02:37.658560
- Title: Assessing Look-Ahead Bias in Stock Return Predictions Generated By GPT
Sentiment Analysis
- Title(参考訳): GPT感度分析による株価リターン予測におけるルックアヘッドバイアスの評価
- Authors: Paul Glasserman, Caden Lin
- Abstract要約: 大規模言語モデル(LLM)は、ニューステキストの感情から利益の出るトレーディング信号を抽出することができる。
このバイアスは、LLMがニュース記事に続く株価のリターンについて特定の知識を持つことができるルック・ア・ヘッドバイアスと、社名を冠した企業の一般的な知識がテキストの感情の測定に干渉する気晴らし効果の2つの形態をとることができる。
金融ニュースの見出しの感情が引き起こすトレーディング戦略を通じて、これらのバイアス源を調査します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs), including ChatGPT, can extract profitable
trading signals from the sentiment in news text. However, backtesting such
strategies poses a challenge because LLMs are trained on many years of data,
and backtesting produces biased results if the training and backtesting periods
overlap. This bias can take two forms: a look-ahead bias, in which the LLM may
have specific knowledge of the stock returns that followed a news article, and
a distraction effect, in which general knowledge of the companies named
interferes with the measurement of a text's sentiment. We investigate these
sources of bias through trading strategies driven by the sentiment of financial
news headlines. We compare trading performance based on the original headlines
with de-biased strategies in which we remove the relevant company's identifiers
from the text. In-sample (within the LLM training window), we find,
surprisingly, that the anonymized headlines outperform, indicating that the
distraction effect has a greater impact than look-ahead bias. This tendency is
particularly strong for larger companies--companies about which we expect an
LLM to have greater general knowledge. Out-of-sample, look-ahead bias is not a
concern but distraction remains possible. Our proposed anonymization procedure
is therefore potentially useful in out-of-sample implementation, as well as for
de-biased backtesting.
- Abstract(参考訳): ChatGPTを含む大規模言語モデル(LLM)は、ニューステキストの感情から利益の出るトレーディングシグナルを抽出することができる。
しかし、LLMは長年のデータに基づいて訓練されており、トレーニングとバックテスト期間が重なると、バックテストの結果がバイアスとなるため、バックテストのような戦略が課題となる。
このバイアスは、LLMがニュース記事に続く株価のリターンについて特定の知識を持つことができるルック・ア・ヘッドバイアスと、社名を冠した企業の一般的な知識がテキストの感情の測定に干渉する気晴らし効果の2つの形態をとることができる。
金融ニュースの見出しの感情が引き起こすトレーディング戦略を通じて、これらのバイアス源を調査します。
我々は、元の見出しに基づく取引実績と、関連する企業の識別子をテキストから削除する非バイアス戦略を比較した。
インサンプル(LLMトレーニングウィンドウ内)では、匿名化された見出しの方が優れており、注意散らし効果がルックアヘッドバイアスよりも大きな影響があることがわかりました。
この傾向は大企業にとって特に強く、LLMがより一般的な知識を持つことを期待している。
サンプル外、ルック・ア・ヘッドバイアスは関心事ではないが、気晴らしは依然として可能である。
提案した匿名化手法は,非バイアスバックテストだけでなく,サンプル外実装にも有用である。
関連論文リスト
- Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。
1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。
近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
論文 参考訳(メタデータ) (2024-04-25T13:10:48Z) - RLRF:Reinforcement Learning from Reflection through Debates as Feedback for Bias Mitigation in LLMs [2.8436446946726552]
大規模言語モデルにおけるバイアスやステレオタイプは、ユーザエクスペリエンスや社会的結果に否定的な影響を及ぼす可能性がある。
Reinforcement Learning from Human Feedbackのようなバイアス軽減への現在のアプローチは、高価な手作業によるフィードバックに依存しています。
RLRF(Reinforcement Learning from Reflection through Debates as Feedback)を提案する。
論文 参考訳(メタデータ) (2024-04-15T22:18:50Z) - Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。
LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。
我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
論文 参考訳(メタデータ) (2024-03-22T00:59:48Z) - Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文 参考訳(メタデータ) (2024-03-15T02:04:35Z) - Cognitive Bias in High-Stakes Decision-Making with LLMs [21.322551161016463]
我々は,大規模言語モデル(LLM)における認知バイアスの発見,評価,緩和を目的としたフレームワークを開発する。
心理学と認知科学の先行研究に触発され、16,800のプロンプトを含むデータセットを開発し、異なる認知バイアスを評価する。
我々は,LSMを用いた新たな手法を提案する中で,様々なバイアス緩和策を検証した。
論文 参考訳(メタデータ) (2024-02-25T02:35:56Z) - Perils of Self-Feedback: Self-Bias Amplifies in Large Language Models [79.5116305401044]
セルフフィードバックは、特定のタスクにおいて大きな言語モデル(LLM)を改善し、他のタスクを悪化させる。
近年の研究では、自己フィードバックは特定のタスクにおいて大きな言語モデル(LLM)を改善する一方で、他のタスクを悪化させることが示されている。
本稿は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。
論文 参考訳(メタデータ) (2024-02-18T03:10:39Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - Measuring Implicit Bias in Explicitly Unbiased Large Language Models [15.599849157678461]
心理学に触発されたバイアスの2つの尺度を導入する。
4つの社会的領域(人種、性別、宗教、健康)と21のカテゴリー(武器、罪悪感、科学、キャリアなど)にまたがる6つの大きな言語モデル(LLM)において、広範にヒトのようなステレオタイプバイアスがみられた。
論文 参考訳(メタデータ) (2024-02-06T15:59:23Z) - Investigating Bias Representations in Llama 2 Chat via Activation
Steering [0.0]
我々は、アクティベーションステアリングを使用して、性別、人種、宗教に関連するバイアスを調査し、緩和します。
以上の結果から,Llama 2 7B Chatの性差は,Reinforcement Learning from Human Feedback以降も持続することが明らかとなった。
この作業は、大規模言語モデルの効果的な再チーム戦略に関する貴重な洞察も提供する。
論文 参考訳(メタデータ) (2024-02-01T07:48:50Z) - The Gaps between Pre-train and Downstream Settings in Bias Evaluation
and Debiasing [74.7319697510621]
In-Context Learning (ICL)は、FTベースのデバイアス法と比較して、PLMの変更を小さくする。
ICL-based debiasing method is a higher correlation between intrinsic and extrinsic bias scores than FT-based method。
論文 参考訳(メタデータ) (2024-01-16T17:15:08Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。