論文の概要: LabelFusion-TS: Fusing Large Language Models, Transformer Encoders, and Financial Time Series for Monetary-Policy Stance Classification
- arxiv url: http://arxiv.org/abs/2608.11753v1
- Date: Wed, 12 Aug 2026 07:46:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.493164
- Title: LabelFusion-TS: Fusing Large Language Models, Transformer Encoders, and Financial Time Series for Monetary-Policy Stance Classification
- Title(参考訳): LabelFusion-TS: 大規模言語モデル、トランスフォーマーエンコーダ、金融時系列による通貨・政策スタンス分類
- Abstract要約: 我々は、金融時系列が連邦準備制度の通信からの文をホーク語、ドブ語、中立語として分類する作業における追加の入力として有用かどうかを検討する。
我々はこれを、金融テキスト分類における入力モダリティとして、市場時系列の最初の証拠とみなす。
- 参考スコア(独自算出の注目度): 0.8921166277011348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Financial text is produced and interpreted within a market environment, yet financial text classifiers almost always receive text alone. We study whether financial time series are useful as an additional input on the task of classifying sentences from Federal Reserve communication as hawkish, dovish, or neutral. Our system, \lfts{}, extends the \lf{} architecture with this modality: a small voting network combines three independently trained components, a fine-tuned RoBERTa encoder, a prompted large language model (LLM), and a fused ensemble of time-series transformers over the market series of the months preceding publication. Because only about a thousand annotated sentences are available for training, the RoBERTa encoder is first pre-trained on sentences annotated automatically by the LLM and only then fine-tuned on the human labels. Trained on Federal Open Market Committee (FOMC) communication up to 2015 and evaluated on 2015--2022, the fused system achieves 70.2\% weighted F1 -- against 64.1\% for the zero-shot LLM -- and overtakes it with as few as 240 human-labelled sentences. We take this as initial evidence for market time series as an input modality in financial text classification.
- Abstract(参考訳): 金融テキストは市場環境で作成・解釈されるが、財務テキスト分類器はほとんどの場合、テキストのみを受け取る。
我々は、金融時系列が連邦準備制度の通信からの文をホーク語、ドブ語、または中立語として分類する作業における追加の入力として有用かどうかを調査する。
小さな投票ネットワークは、独立に訓練された3つのコンポーネント、微調整されたRoBERTaエンコーダ、励磁型大言語モデル(LLM)、および発行前の数ヶ月間にわたって、融合した時系列変換器の組合わせを組み合わさったものである。
約1000の注釈付き文しかトレーニングできないため、RoBERTaエンコーダはまずLDMによって自動的に注釈付けされた文で事前訓練され、それから人間のラベルで微調整される。
2015年から2022年にかけて、連邦公開市場委員会(FOMC)の通信で訓練され、2015年から2022年にかけて評価され、この融合システムは70.2\%の重み付きF1を達成する。
我々はこれを、金融テキスト分類における入力モダリティとして、市場時系列の最初の証拠とみなす。
関連論文リスト
- A Training-Free, Alignment-Free Approach to Corporate Intelligence: Application to SEC Filings [0.0]
決定論的スパースシードベクトルに基づく企業インテリジェンスのためのトレーニングフリーでアライメントのないフレームワークを提案する。
単語文字列を固定された高次元のベースにすることで、すべての文書とすべての時間的エポックを共通座標系に配置し、トレーニングやアライメントの必要をなくす。
ボーイングの737 MAX危機、インテルのサプライチェーン破壊、バンジュのViterra買収など、企業における重要な出来事が、区別可能なセマンティックプロファイルとして現れていることを示す。
論文 参考訳(メタデータ) (2026-09-10T14:32:35Z) - The Stanford EDGAR Filings Dataset: Reconstructing U.S. Corporate and Financial Disclosures into Layout-Faithful and Token-Efficient Pretraining Data [1.6404022072626985]
Stanford EDGAR Filingsデータセットは、SECの申請をレイアウトに忠実なMultiMarkdownに再構築したものである。
SEFDは、監査済みの財務声明、リスク開示、所有権報告書、会計ノート、および長期の事前訓練データとして利用可能な市場移動イベントの提出を行う。
我々は152Bの初期の公開スナップショットであるSEFD-v1をリリースし,550Bトークンと推定される18.5Mの大規模なアーカイブをコーパスレベルで解析した。
論文 参考訳(メタデータ) (2026-06-16T17:22:34Z) - Time Series as Language: A Universal Tokenizer for General-Purpose Time Series Foundation Models [58.73838451441261]
連続時間列(TS)を離散トークンに変換するユニバーサルトークンライザUniTokと、これらのトークン上でNTPを介して事前訓練された基礎モデルUniTok-FMを紹介する。
UniTok-FMは、ゼロショットとプロンプトブースト予測をサポートし、トレーニング不要なインコンテキスト推論による少数ショットの生成と分類をサポートする汎用基盤モデルである。
論文 参考訳(メタデータ) (2026-05-31T16:04:11Z) - LabelFusion: Learning to Fuse LLMs and Transformer Classifiers for Robust Text Classification [0.7611870296994722]
LabelFusionはテキスト分類のための融合アンサンブルである。
トランスフォーマーベースの分類器と1つ以上の大規模言語モデルを組み合わせることを学ぶ。
AG Newsでは92.4%、Reutersでは92.3%、トピック分類では21578となっている。
論文 参考訳(メタデータ) (2025-12-11T16:39:07Z) - Disambiguation of Chinese Polyphones in an End-to-End Framework with Semantic Features Extracted by Pre-trained BERT [81.99600765234285]
ポリフォニック文字の発音を予測するためのエンドツーエンドフレームワークを提案する。
提案手法は,Transformers(BERT)モデルとニューラルネットワーク(NN)に基づく分類器から,事前訓練された双方向エンコーダ表現からなる。
論文 参考訳(メタデータ) (2025-01-02T06:51:52Z) - CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。
分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。
CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
論文 参考訳(メタデータ) (2024-03-12T04:04:38Z) - FiLM: Fill-in Language Models for Any-Order Generation [71.42044325886194]
Fill-in Language Model (FiLM) は、特定の生成順序に固執することなく任意の位置で柔軟な生成を可能にする新しい言語モデリング手法である。
推論中、FiLMは欠落したフレーズ、文、段落をシームレスに挿入できる。
FiLMは、再構成されたテキストセグメントでトレーニングされた左から右への言語モデルに依存する既存のインフィル手法よりも優れています。
論文 参考訳(メタデータ) (2023-10-15T19:37:39Z) - Representation Deficiency in Masked Language Modeling [107.39136254013042]
我々は Masked Autoencoder アーキテクチャを事前トレーニングする MAE-LM を提案し,$tt[MASK]$トークンをエンコーダから除外する。
GLUE と SQuAD ベンチマークで微調整した場合,MAE-LM は,事前学習したモデルに対して,異なる事前学習設定とモデルサイズで一貫した性能を示した。
論文 参考訳(メタデータ) (2023-02-04T01:54:17Z) - FinBERT-MRC: financial named entity recognition using BERT under the
machine reading comprehension paradigm [8.17576814961648]
我々はFinNERタスクを機械読解(MRC)問題として定式化し、FinBERT-MRCと呼ばれる新しいモデルを提案する。
この定式化は、よく設計されたクエリを利用して重要な事前情報を導入し、ターゲットエンティティの開始インデックスと終了インデックスを抽出する。
我々は,中国の財務データセットChFinAnnと実単語データセットAdminPunishについて実験を行った。
論文 参考訳(メタデータ) (2022-05-31T00:44:57Z) - CUE Vectors: Modular Training of Language Models Conditioned on Diverse
Contextual Signals [11.310756148007753]
本稿では,多種多様な文・外部文脈(メタデータを含む)を用いたニューラルネットワークモデルの学習をモジュール化する枠組みを提案する。
我々のアプローチである文脈的普遍埋め込み(CUE)は、日付や著者などの文脈の1つのセットでLMを訓練し、記事タイトルや前文のような新しいメタデータタイプに適応する。
我々は、複数のメタデータ型を持つNYTimesテキストコーパス上でCUEフレームワークを検証する。
論文 参考訳(メタデータ) (2022-03-16T17:37:28Z) - Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。
我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。
本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
論文 参考訳(メタデータ) (2021-08-31T19:39:55Z) - FairFil: Contrastive Neural Debiasing Method for Pretrained Text
Encoders [68.8687509471322]
本稿では,プリトレーニングされたエンコーダ出力をフェアフィルタネットワークを介してデバイアス表現に変換する,プリトレーニング文エンコーダの最初のニューラルデバイアス手法を提案する。
実世界のデータセットでは、fairfilは学習済みテキストエンコーダのバイアスを効果的に低減し、下流タスクで望ましいパフォーマンスを継続的に示します。
論文 参考訳(メタデータ) (2021-03-11T02:01:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。