論文の概要: Context Window Failures in Relational Foundation Models
- arxiv url: http://arxiv.org/abs/2609.00460v1
- Date: Mon, 31 Aug 2026 22:59:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.125003
- Title: Context Window Failures in Relational Foundation Models
- Title(参考訳): リレーショナルファンデーションモデルにおけるコンテキストウィンドウの障害
- Abstract要約: 私たちはAnimusを紹介します。Animusは、顧客の収入を予測するための合成金融データセットで、最大数万のトランザクションを集約する必要があります。
この問題は、現在のリレーショナルファンデーションモデルが、高カルディナリティな実世界のデータの準備が整っているかどうかである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent Relational Deep Learning architectures have been proposed as foundation models for multi-table relational data, yet they impose constrained neighborhood budgets that force row truncation when an entity has many related records. We introduce Animus, a synthetic financial dataset in which predicting customer income requires aggregating up to tens of thousands of transactions. On the raw representation, three recently proposed models (RT, Griffin, RelGT) achieve $R^2 \le 0.18$; a single, routine, temporal pre-aggregation step recovers $R^2$ up to $0.65$. This questions whether current relational foundation models are ready for high-cardinality real-world data.
- Abstract(参考訳): 近年のリレーショナルディープラーニングアーキテクチャは,マルチテーブルリレーショナルデータの基盤モデルとして提案されている。
私たちはAnimusを紹介します。Animusは、顧客の収入を予測するための合成金融データセットで、最大数万のトランザクションを集約する必要があります。
生の表現では、最近提案された3つのモデル (RT, Griffin, RelGT) が$R^2 \le 0.18$; 1つの、ルーチン、時間前集約ステップで$R^2$から$0.65$まで回復する。
この問題は、現在のリレーショナルファンデーションモデルが、高カルディナリティな実世界のデータの準備が整っているかどうかである。
関連論文リスト
- Advancing Open and Reproducible Relational Learning: RelArena-$α$, TabPFN-Rel and RPI [93.1293239420285]
私たちは3つのソフトウェアをオープンソースとして公開しています。
RelArena-$は、RelBench v1のベースラインを実行および比較するための統一されたフレームワークを提供する。
我々はTabPFN-3用のリレーショナルハーネスであるTabPFN-Relの初期バージョンをリリースする。
論文 参考訳(メタデータ) (2026-08-17T09:25:05Z) - Deep learning-based prediction of time-resolved adhesive forces in viscoelastic Hertzian contacts [0.0]
我々は、所定の変位履歴から全力進化を予測するために、ステートフルでシークエンス・ツー・シークエンス深層学習モデルを訓練する。
モデルは、未知のパラメータの組み合わせと分析的制限ケースに対してテストされる。
制御指向アプリケーションで潜在的に使用可能な数値評価を繰り返すために、高速なサロゲートを提供する。
論文 参考訳(メタデータ) (2026-07-21T12:48:48Z) - Relational In-Context Learning via Synthetic Pre-training with Structural Prior [60.404256960057545]
RDB-PFNは、$textbfsynthetic$で純粋にトレーニングされた最初のリレーショナルファンデーションモデルである。
構造因果モデル(Structure Causal Models, SCM)から生成された合成データが単一のテーブル上の推論を可能にするPFN(Presideed-Data Fitted Networks)にインスパイアされた。
RDB-PFNは、19の現実世界の予測タスクにおいて、強い数ショットのパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-03-04T07:30:54Z) - PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models [51.42043158297229]
マルチタブラルリレーショナルデータベースをスクラッチから合成するフレームワークであるPluelを紹介する。
ステップバイステップの方法では,(1)有向グラフのスキーマ,(2)二部グラフのテーブル間一次外部キー接続,(3)条件因果機構によるテーブル内の特徴分布をモデル化する。
論文 参考訳(メタデータ) (2026-02-03T21:35:18Z) - TABL-ABM: A Hybrid Framework for Synthetic LOB Generation [0.0]
近年、深層学習モデルの金融取引への応用により、高忠実度金融時系列データの必要性が高まっている。
生成的アプリケーションのための最先端のモデルは、しばしば大量の歴史的データと大規模で複雑なモデルに依存している。
エージェントベースのリミットオーダーブックダイナミクスのモデリングアプローチもまた、トレーディングアクティビティを再現することができる。
論文 参考訳(メタデータ) (2025-10-26T14:04:49Z) - RelDiff: Relational Data Generative Modeling with Graph-Based Diffusion Models [83.6013616017646]
RelDiffは、外部キーグラフ構造を明示的にモデル化することによって完全な関係データベースを合成する新しい拡散生成モデルである。
RelDiffは、現実的で一貫性のある合成リレーショナルデータベースの作成において、従来手法よりも一貫して優れている。
論文 参考訳(メタデータ) (2025-05-31T21:01:02Z) - LENS: Large Pre-trained Transformer for Exploring Financial Time Series Regularities [3.475989206546412]
金融時系列の事前学習モデルである textbfLENS を提案する。
textbfLENSは、慎重に構築されたモデルアーキテクチャを通じて、金融システムの複雑さを効果的にキャプチャする。
我々の研究は、高雑音環境下で事前学習された時系列モデルの開発に関する実践的な洞察を提供する。
論文 参考訳(メタデータ) (2024-08-19T15:59:46Z) - REFinD: Relation Extraction Financial Dataset [7.207699035400335]
提案するREFinDは,$sim$29Kのインスタンスと8種類のエンティティペア間の22のリレーションを持つ,最初の大規模アノテートされた関係データセットである。
様々な最先端ディープラーニングモデルが,数値推論,関係性,方向性のあいまいさに悩まされていることを観察した。
論文 参考訳(メタデータ) (2023-05-22T22:40:11Z) - DA-VEGAN: Differentiably Augmenting VAE-GAN for microstructure
reconstruction from extremely small data sets [110.60233593474796]
DA-VEGANは2つの中心的なイノベーションを持つモデルである。
$beta$-variational autoencoderはハイブリッドGANアーキテクチャに組み込まれている。
このアーキテクチャに特化して、独自の差別化可能なデータ拡張スキームが開発されている。
論文 参考訳(メタデータ) (2023-02-17T08:49:09Z) - Dynamic and Context-Dependent Stock Price Prediction Using Attention
Modules and News Sentiment [0.0]
本稿では,金融時系列データに対する新たなモデリング手法である$alpha_t$-RIM(リカレント・インディペンデント・メカニズム)を提案する。
このようなダイナミックな方法でデータをモデル化するために、$alpha_t$-RIMは指数的にスムーズなリカレントニューラルネットワークを使用する。
その結果、$alpha_t$-RIMは、株価とニュースセンチメントの因果構造、季節やトレンドを反映できることがわかった。
論文 参考訳(メタデータ) (2022-03-13T15:13:36Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。