論文の概要: Forecasting Cryptocurrency Returns from Sentiment Signals: An Analysis
of BERT Classifiers and Weak Supervision
- arxiv url: http://arxiv.org/abs/2204.05781v3
- Date: Sun, 19 Mar 2023 21:32:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 04:45:30.230877
- Title: Forecasting Cryptocurrency Returns from Sentiment Signals: An Analysis
of BERT Classifiers and Weak Supervision
- Title(参考訳): 感性信号からの暗号復号予測:BERT分類器と弱スーパービジョンの解析
- Authors: Duygu Ider, Stefan Lessmann
- Abstract要約: 我々は、テキストデータがラベル付けされていない問題に対処するための、最近提案されたNLPアプローチである弱い学習を導入する。
弱いラベルを用いた微調整は、テキストベースの特徴の予測値を高め、暗号通貨のリターンを予測する文脈で予測精度を高めることを確認した。
より根本的には、我々が提示するモデリングパラダイム、弱いラベル付けドメイン固有テキスト、微調整済みNLPモデルは、(金融)予測において普遍的に適用可能である。
- 参考スコア(独自算出の注目度): 6.624726878647541
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Anticipating price developments in financial markets is a topic of continued
interest in forecasting. Funneled by advancements in deep learning and natural
language processing (NLP) together with the availability of vast amounts of
textual data in form of news articles, social media postings, etc., an
increasing number of studies incorporate text-based predictors in forecasting
models. We contribute to this literature by introducing weak learning, a
recently proposed NLP approach to address the problem that text data is
unlabeled. Without a dependent variable, it is not possible to finetune
pretrained NLP models on a custom corpus. We confirm that finetuning using weak
labels enhances the predictive value of text-based features and raises forecast
accuracy in the context of predicting cryptocurrency returns. More
fundamentally, the modeling paradigm we present, weak labeling domain-specific
text and finetuning pretrained NLP models, is universally applicable in
(financial) forecasting and unlocks new ways to leverage text data.
- Abstract(参考訳): 金融市場の物価上昇を予想することは、予測に対する継続的な関心のトピックである。
深層学習と自然言語処理(NLP)の進歩と、ニュース記事やソーシャルメディア投稿などの形で大量のテキストデータの提供により、予測モデルにテキストベースの予測器を組み込んだ研究が増えている。
本稿では,テキストデータのラベルが付かない問題に対処するために最近提案されたnlpアプローチであるweak learningを導入することで,この文献に寄与する。
依存変数がなければ、トレーニング済みのnlpモデルをカスタムコーパスで微調整することはできない。
弱いラベルを用いた微調整は、テキストベースの特徴の予測値を高め、暗号通貨のリターンを予測する文脈で予測精度を高めることを確認した。
より根本的には、我々が提示するモデリングパラダイムは、ドメイン固有のテキストを弱ラベルし、事前訓練されたNLPモデルを微調整することで、(金融)予測に普遍的に適用でき、テキストデータを活用する新しい方法を解き放つ。
関連論文リスト
- Natural Language Processing and Multimodal Stock Price Prediction [0.8702432681310401]
本稿では,従来の生通貨価値の活用とは対照的に,株価変動をトレーニングデータとして活用する。
パーセンテージの変化の選択は、価格変動の重要性に関する文脈をモデルに提供することを目的としている。
この研究は、株価トレンドを予測するために、特別なBERT自然言語処理モデルを用いている。
論文 参考訳(メタデータ) (2024-01-03T01:21:30Z) - Corporate Bankruptcy Prediction with Domain-Adapted BERT [7.931904787652709]
本研究は,企業情報公開データを用いて,企業倒産を予測するためのコンテキスト型言語モデルであるBERTに基づく分析を行う。
精度は91.56%であり,予測精度が大幅に向上したことを示す。
論文 参考訳(メタデータ) (2023-12-06T00:05:25Z) - Forecasting Cryptocurrency Prices Using Deep Learning: Integrating
Financial, Blockchain, and Text Data [3.8443430569753025]
我々は、先進的なディープラーニングNLP手法を用いて、公開感情が暗号通貨評価に与える影響を分析する。
我々は,NLPデータ統合の有無にかかわらず,各種MLモデルの性能を比較した。
我々は,Twitter-RoBERTaやBART MNLIといった事前学習モデルが,市場感情を捉える上で極めて有効であることを発見した。
論文 参考訳(メタデータ) (2023-11-23T16:14:44Z) - Measuring Consistency in Text-based Financial Forecasting Models [10.339586273664725]
FinTrustは財務文書の論理的一貫性を評価する評価ツールである。
金融予測のための最先端NLPモデルの整合性は乏しいことを示す。
意味保存による性能劣化の分析は,現在のテキストベースの手法が市場情報の堅牢な予測に適していないことを示唆している。
論文 参考訳(メタデータ) (2023-05-15T10:32:26Z) - In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。
実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。
また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
論文 参考訳(メタデータ) (2022-12-20T14:06:50Z) - NumHTML: Numeric-Oriented Hierarchical Transformer Model for Multi-task
Financial Forecasting [17.691653056521904]
本稿では,マルチモーダル・アライン・ファイナンス・コールデータを用いて,株価リターンと金融リスクを予測する数値指向階層型トランスフォーマーモデルについて述べる。
実世界の公開データセットを用いて,いくつかの最先端ベースラインに対するNum HTMLの総合的な評価結果を示す。
論文 参考訳(メタデータ) (2022-01-05T10:17:02Z) - How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial
Robustness? [121.57551065856164]
本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。
RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。
実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2021-12-22T05:04:41Z) - Automatically Identifying Semantic Bias in Crowdsourced Natural Language
Inference Datasets [78.6856732729301]
NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。
データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
論文 参考訳(メタデータ) (2021-12-16T22:49:01Z) - Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。
BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。
特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
論文 参考訳(メタデータ) (2021-09-10T12:13:45Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳(メタデータ) (2021-08-29T06:58:28Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。