論文の概要: PALM: Point-in-Time Adaptation for Financial Language Models
- arxiv url: http://arxiv.org/abs/2609.30316v1
- Date: Wed, 02 Sep 2026 08:46:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.135343
- Title: PALM: Point-in-Time Adaptation for Financial Language Models
- Title（参考訳）: PALM:金融言語モデルのポイント・イン・タイム適応
- Abstract要約: ポイント・イン・タイム(PIT)言語モデルは、時系列にフィルタリングされたコーパスで事前訓練され、暦年ごとに1つのチェックポイントとしてリリースされる。
本稿では,年次事前学習が不要であることを示す。代わりに,新しいチェックポイントを置き換えた新しいチェックポイントと比較し,新しいチェックポイントのスコアが同じ評価ウィンドウ上では良くないことを示す。
- 参考スコア（独自算出の注目度）: 13.359564942661251
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Language models used in financial backtests suffer from look-ahead bias, as a model trained on text published after the study period has already observed the outcomes it is asked to predict. To handle this issue, point-in-time (PIT) language models are pretrained on chronologically filtered corpora and released as one checkpoint per calendar year, each with a documented cutoff. However, each additional year costs a full pretraining run, and whether that run is necessary has never been tested. In this paper, we show that the annual pretraining run is not necessary. We instead compare each checkpoint against the newer one that replaced it, and find that the newer checkpoint scores no better on the same evaluation window. Motivated by this observation, we propose PALM (Point-in-time Adaptation for financial Language Models), a simple yet effective alternative to annual pretraining that fits a low-rank adapter on text published before the decision date without modifying any pretrained weight. We further find that a small adapter is enough to add a new period to the knowledge an old checkpoint already encodes, and that this outperforms continued pretraining. We validate PALM on a decade of financial news and on various families of PIT models, whose cutoffs span two decades and whose sizes range from 1.3 to 4.2B. Code is available at: https://github.com/seunghan96/palm.
- Abstract（参考訳）: 金融バックテストで使用される言語モデルは、調査期間後に出版されたテキストでトレーニングされたモデルが、予測される結果を観察しているため、ルックアヘッドバイアスに悩まされる。
この問題に対処するため、PIT(point-in-time)言語モデルは、時系列にフィルタリングされたコーパスで事前訓練され、それぞれが文書化されたカットオフを持つ暦年に1つのチェックポイントとしてリリースされる。
しかし、追加の年は完全な事前訓練の費用がかかるため、その実行が必要かどうかはまだテストされていない。
本稿では,年次プレトレーニングの実施は不要であることを示す。
代わりに、新しいチェックポイントを置き換えた新しいチェックポイントと比較し、新しいチェックポイントのスコアが同じ評価ウィンドウで良くないことを見つけます。
本研究の目的は,事前学習した重みを変更せずに,決定日以前に公開されたテキストに低ランクのアダプタを適合させる,年次事前学習の簡単な代替手段であるPALM(Point-in-time Adaptation for financial Language Models)を提案することである。
さらに、古いチェックポイントがすでにエンコードしている知識に新しい期間を追加するのに、小さなアダプタが十分であることもわかりました。
PALMは10年間の金融ニュースやPITモデルの様々なファミリーで評価され、カットオフは20年にわたって行われ、サイズは1.3から4.2Bである。
コードは、https://github.com/seunghan96/palm.comで入手できる。
関連論文リスト
- To Adapt or Not to Adapt? Selective Adaptation for Vision-Language Models [50.94061118407214]
テスト時適応(TTA)は、推論中の分布シフトに視覚言語モデルを適用するための顕著な戦略として現れている。
適応前後のモデル予測をサンプル単位で解析し、既存のTTA手法で2つの障害モードを観測する。
選択適応という新たな問題を導入し、与えられたテストサンプルを適応させるべきか、スキップすべきかを判断することを目的とする。
論文 参考訳（メタデータ） (2026-09-08T07:35:45Z) - Similar Models Learn Differently: Final-Window Pretraining Shapes Post-Training Beyond SFT [17.186414423941482]
トレーニング前にトレーニングした最後のデータである事前学習の最終ウィンドウ上で,制御された実験を実行する。
部分的に事前訓練されたチェックポイントからの6つの分岐フォークは、このウィンドウでのみ異なる:5億トークン、それより前のトークンの0.1%から1%である。
SFT後、分岐はほぼ同一に振る舞うが、命令の追従、拒否、能力のほぼ1ポイント以内には、同じポストトレーニングが全く異なるエンドポイントにそれらを運ぶ。
論文 参考訳（メタデータ） (2026-07-27T20:46:29Z) - Double Preconditioning (DoPr): Optimization for Test-Time Performance, not Validation Loss [26.33868416147844]
ダブルプレコンディショニング(DoPr)と呼ばれる新しい最適化パラダイムを導入する。
DoPr は、Adam や Muon のようにグラデーションワイドプレコンディショニングとアクティベーションワイドプレコンディショニング(AP)を組み合わせている。
我々は、APの追加により、様々なテスト時間設定でダウンストリームモデルの性能を向上させるために、ドロップインの介入が得られることを示す。
論文 参考訳（メタデータ） (2026-06-04T17:22:58Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [117.72709110877939]
テスト時間適応(TTA)は、事前訓練されたモデルをテスト中に、予測する前にラベルのないデータに適応する可能性がある。
TTAはテスト時間領域適応、テスト時間バッチ適応、オンラインテスト時間適応といったテストデータの形態に基づいて、いくつかの異なるグループに分類される。
論文 参考訳（メタデータ） (2023-03-27T16:32:21Z) - Boosting classification reliability of NLP transformer models in the
long run [0.0]
本稿では,長期にわたる分類課題に対して,BERTモデルを微調整するための異なるアプローチを比較する。
当社のコーパスには、2020年9月から2021年12月までのハンガリーでの新型コロナウイルスワクチン接種に関するコメントが800万件以上含まれています。
論文 参考訳（メタデータ） (2023-02-20T14:46:54Z) - A Probabilistic Framework for Lifelong Test-Time Adaptation [34.07074915005366]
テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。
PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)は,確率的アプローチを用いて生涯TTAを解決する。
本手法は, 様々なベンチマークにおいて, オンライン・ライフタイム・テスト・タイム・アダプティブの最先端技術よりも優れた結果が得られる。
論文 参考訳（メタデータ） (2022-12-19T18:42:19Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳（メタデータ） (2022-09-23T07:47:33Z) - On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。
本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。
テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
論文 参考訳（メタデータ） (2022-03-10T18:51:29Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳（メタデータ） (2020-04-29T10:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。