Fugu-MT 論文翻訳(概要): NoLBERT: A No Lookahead(back) Foundational Language Model for Empirical Research

論文の概要: NoLBERT: A No Lookahead(back) Foundational Language Model for Empirical Research

arxiv url: http://arxiv.org/abs/2509.01110v1
Date: Mon, 01 Sep 2025 04:07:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-04 15:17:03.545133
Title: NoLBERT: A No Lookahead(back) Foundational Language Model for Empirical Research
Title（参考訳）: NoLBERT:実証研究のための基礎言語モデル
Authors: Ali Kakhbod, Peiyao Li,
Abstract要約: NoLBERTは、社会科学の実証研究のための、軽量でタイムスタンプ付き基礎言語モデルである。 1976-1995年のテキストにのみ事前トレーニングを行うことで、NoLBERTは見返りバイアスと見落としバイアスの両方を回避し、計量的推論を損なうことができる。
参考スコア（独自算出の注目度）: 1.6615337656760856
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present NoLBERT, a lightweight, timestamped foundational language model for empirical research in social sciences, particularly in economics and finance. By pre-training exclusively on 1976-1995 text, NoLBERT avoids both lookback and lookahead biases that can undermine econometric inference. It exceeds domain-specific baselines on NLP benchmarks while maintaining temporal consistency. Applied to patent texts, NoLBERT enables the construction of firm-level innovation networks and shows that gains in innovation centrality predict higher long-run profit growth.
Abstract（参考訳）: 我々は、社会科学、特に経済学と金融の実証研究のための、軽量でタイムスタンプ付き基礎言語モデルであるNoLBERTを提示する。 1976-1995年のテキストにのみ事前トレーニングを行うことで、NoLBERTは見返りバイアスと見落としバイアスの両方を回避し、計量的推論を損なうことができる。時間的一貫性を維持しながら、NLPベンチマークのドメイン固有のベースラインを超えている。特許文書に適用されたNoLBERTは、ファームレベルのイノベーションネットワークの構築を可能にし、イノベーションの中央集権性が長期的利益の増大を予測していることを示している。

関連論文リスト

SoK: Large Language Model Copyright Auditing via Fingerprinting [69.14570598973195]
既存の手法をホワイトボックスとブラックボックスのアプローチに分類する統一的な枠組みと形式的な分類法を導入する。現実的な展開シナリオ下でのLDMフィンガープリント評価のための最初の体系的ベンチマークであるLeaFBenchを提案する。
論文参考訳（メタデータ） (2025-08-27T12:56:57Z)
Seek in the Dark: Reasoning via Test-Time Instance-Level Policy Gradient in Latent Space [82.75174050101108]
テスト時間インスタンスレベルの適応(TTIA)を通じて推論を強化するフレームワークであるLatentSeekを紹介した。 LatentSeekは、GSM8K、MATH-500、AIME2024など、さまざまな推論ベンチマークで評価されている。結果は、LatentSeekが一貫して強力なベースラインを上回っていることを示している。
論文参考訳（メタデータ） (2025-05-19T16:26:02Z)
A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond [88.5807076505261]
大規模推論モデル (LRM) は, 推論中におけるチェーン・オブ・ソート (CoT) の推論長を拡大することにより, 高い性能向上を示した。懸念が高まっているのは、過度に長い推論の痕跡を生み出す傾向にある。この非効率性は、トレーニング、推論、現実のデプロイメントに重大な課題をもたらす。
論文参考訳（メタデータ） (2025-03-27T15:36:30Z)
Advancing GDP Forecasting: The Potential of Machine Learning Techniques in Economic Predictions [0.0]
本稿では,GDP,特にLSTMネットワークの予測におけるリカレントニューラルネットワークの有効性について検討する。我々は1995年から2023年までの四半期ルーマニアのGDPデータセットを使用し、LSTMネットワークを構築し、シリーズの次の4つの値に予測する。機械学習モデルは予測精度と柔軟性の点で従来の計量モデルより一貫して優れていることが示唆された。
論文参考訳（メタデータ） (2025-02-27T06:28:13Z)
BreakGPT: Leveraging Large Language Models for Predicting Asset Price Surges [55.2480439325792]
本稿では,時系列予測や資産価格の急上昇の予測に特化して,新たな大規模言語モデル(LLM)アーキテクチャであるBreakGPTを紹介する。我々は、最小限のトレーニングで財務予測を行うための有望なソリューションとしてBreakGPTを紹介し、局所的およびグローバルな時間的依存関係をキャプチャする強力な競合相手として紹介する。
論文参考訳（メタデータ） (2024-11-09T05:40:32Z)
Financial Time-Series Forecasting: Towards Synergizing Performance And Interpretability Within a Hybrid Machine Learning Approach [2.0213537170294793]
本稿では、ハイブリッド機械学習アルゴリズムの比較研究を行い、モデル解釈可能性の向上に活用する。本稿では,金融時系列予測において出現する潜伏関係や複雑なパターンの発掘を目的とした,分解,自己相関関数,指数的三重予測など,時系列統計の事前処理技術に関する体系的な概要を述べる。
論文参考訳（メタデータ） (2023-12-31T16:38:32Z)
Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
論文参考訳（メタデータ） (2023-04-15T19:22:37Z)
WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain [42.093876880881886]
ドメイン固有型金融LANGuageモデル(FLANG)を提案する。ファイナンシャルキーワードとフレーズを使用して、スパン境界目的とインフィリング目的ととともに、マスキングを改善する。私たちのモデル、コード、ベンチマークデータはGithubとHuggingfaceで公開されています。
論文参考訳（メタデータ） (2022-10-31T18:35:18Z)
Forecasting Cryptocurrency Returns from Sentiment Signals: An Analysis of BERT Classifiers and Weak Supervision [6.624726878647541]
我々は、テキストデータがラベル付けされていない問題に対処するための、最近提案されたNLPアプローチである弱い学習を導入する。弱いラベルを用いた微調整は、テキストベースの特徴の予測値を高め、暗号通貨のリターンを予測する文脈で予測精度を高めることを確認した。より根本的には、我々が提示するモデリングパラダイム、弱いラベル付けドメイン固有テキスト、微調整済みNLPモデルは、(金融)予測において普遍的に適用可能である。
論文参考訳（メタデータ） (2022-04-06T07:45:05Z)
Bayesian Bilinear Neural Network for Predicting the Mid-price Dynamics in Limit-Order Book Markets [84.90242084523565]
伝統的な時系列計量法は、価格力学を駆動する多層相互作用の真の複雑さを捉えることができないことが多い。最先端の2次最適化アルゴリズムを採用することで、時間的注意を払ってベイジアン双線形ニューラルネットワークを訓練する。予測分布を用いて推定パラメータとモデル予測に関連する誤差や不確実性を解析することにより、ベイズモデルと従来のML代替品を徹底的に比較する。
論文参考訳（メタデータ） (2022-03-07T18:59:54Z)
Innovative Bert-based Reranking Language Models for Speech Recognition [15.762742686665652]
自動音声認識(ASR)によるN-best仮説のランク付けに用いるBERTに基づく文脈化言語モデル(LM)の新たなインスタンス化を提案する。そこで我々は,BERTを予測問題とするN-best仮説を,N-best仮説(PBERTにより代入された)を前提として,最も低い単語誤り率(WER)を持つオラクル仮説を予測することを目的とする。特に,N-best仮説の再評価においてPBERTを支援するために,タスク固有のグローバルトピック情報を教師なしの方法で活用することを検討する。
論文参考訳（メタデータ） (2021-04-11T07:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。