論文の概要: RT-J: Large-Scale Pretraining of Relational Transformers for Context-Efficient Predictions

• arxiv url: http://arxiv.org/abs/2610.17867v1
• Date: Tue, 13 Oct 2026 07:27:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.544198
• Title: RT-J: Large-Scale Pretraining of Relational Transformers for Context-Efficient Predictions
• Title（参考訳）: RT-J:文脈効率予測のための関係変換器の大規模事前学習
• Abstract要約: RT-Jはリレーショナル基礎モデル(RFM)であり、数百のインコンテキスト例かそれ以下であっても正確な予測を行う。 我々は,新しいランダムウォーク検索器のコンテキスト内例を用いて,最大8,192個のデータベースセルの長いコンテキストを事前学習する。 RelBenchのコンテキスト内回帰タスクでは、RT-Jは強力な機能エンジニアリングパイプラインにマッチするために、平均で10倍のサンプルを必要とする。
• 参考スコア（独自算出の注目度）: 44.87429223558712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models for tables and relational databases are increasingly used for predictive tasks across various scientific and industrial domains. However, adapting existing models to unseen datasets requires tens of thousands of examples. Here we introduce RT-J, an 85M-parameter relational foundation model (RFM) that makes accurate predictions even with hundreds of in-context examples or fewer. To achieve this, we first assemble the Join, a large collection of 639 web-crawled databases with 6,023 LLM-generated forecasting tasks. We pretrain with long contexts of up to 8,192 database cells, using in-context examples from a novel lightweight random-walk retriever. Finally, we leverage context tuning and ensembling to scale up test-time compute. On in-context regression tasks from RelBench, RT-J requires 10x fewer examples on average to match strong feature engineering pipelines with LLM-agent or RDBLearn featurizers and TabICLv2 or LightGBM predictors. Overall, our work pushes the frontier for context-efficient predictions on relational data and highlights the importance of real-world semantics, context engineering and large-scale pretraining for RFMs.
• Abstract（参考訳）: テーブルとリレーショナルデータベースの基盤モデルは、様々な科学分野や産業分野における予測タスクにますます使われている。 しかし、既存のモデルを目に見えないデータセットに適応させるには、何万もの例が必要になる。 本稿では,85Mパラメータリレーショナル基礎モデル(RFM)であるRT-Jを紹介する。 そこで我々はまず,6,023 LLM 生成タスクを備えた 639 個の Web crawled データベースからなる Join を組み立てた。 我々は,新しいランダムウォーク検索器のコンテキスト内例を用いて,最大8,192個のデータベースセルの長いコンテキストを事前学習する。 最後に、テスト時間計算のスケールアップにコンテキストチューニングとアンサンブルを活用します。 RelBenchのコンテキスト内回帰タスクでは、強力な機能エンジニアリングパイプラインとLLM-agentやRDBLearnのファクトリライザ、TabICLv2やLightGBMの予測とを一致させるために、RT-Jは平均で10倍のサンプルを必要とする。 全体として、我々の研究は、関係データに対する文脈効率予測のフロンティアを推し進め、実世界の意味論、文脈工学、RAMの大規模事前学習の重要性を強調している。

関連論文リスト

• STEER: Reducing Inference Cost in Relational Foundation Models through Semantically Informed Sampling [2.025761610861237]
  本稿では,STEERを提案する。STEERは,予測タスクハンドに最も関係のあるテーブルに集中することで,推論コンテキストを縮小するサンプリング手法である。 STEERは、大規模言語モデルに対して、データベーススキーマの外部キーエッジを、与えられたタスクの関連層にランク付けするように促すことにより、関連情報を取得する。 ランキングはスキーマのみを使用するため、タスク毎に1回計算され、その後のすべての予測で再利用され、コストを償却する。
  論文  参考訳（メタデータ） (2026-10-01T01:36:43Z)
• PluRel-to-RDB-PFN: Schema-Guided Synthetic Relational Pretraining [0.7211865874649033]
  ファンデーションモデル(RFM)は、事前訓練のために大規模な合成データベースを必要とする。 汎用合成関係データベースであるPluRelが,RDB-PFNの外部データソースとして機能するかどうかを検討した。 我々はPluRel生成リレーショナルデータベースをRDB-PFNトレーニングフォーマットにマッピングする変換パイプラインを構築した。
  論文  参考訳（メタデータ） (2026-07-31T07:59:18Z)
• RelPrism: A Multi-Faceted Pre-training Framework with Self-Generated Tasks for Relational Databases [49.47033473074821]
  RDBのための多面的自己教師型学習フレームワークであるRelPrismを提案する。 RDBタスクは、しばしば異なる視点と粒度の多面的な情報を必要とする。 以上の結果から,RelPrismはROC-AUCを4.15%改善し,MAEを10.75%削減した。
  論文  参考訳（メタデータ） (2026-05-22T05:19:58Z)
• RDBLearn: Simple In-Context Prediction Over Relational Databases [21.996337463952255]
  簡単なレシピを簡単なレシピでリレーショナルな予測に拡張できることを示す。 本手法は,Scikit-learn-style estimator インタフェースを備えた使いやすいツールキットである textitRDBLearn に実装する。 RelBenchと4DBInferデータセットの広範なコレクションの中で、RDBLearnは私たちが評価した最も優れた基盤モデルアプローチです。
  論文  参考訳（メタデータ） (2026-02-14T09:24:04Z)
• Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data [38.656987194921854]
  Transformer (RT) アーキテクチャは、様々なリレーショナルデータベース上で事前トレーニングすることができる。 RTは強いゼロショットを破り、バイナリ分類タスクにおいて、完全に教師されたAUROCの93%を平均化する。
  論文  参考訳（メタデータ） (2025-10-07T18:51:51Z)
• SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
  本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。 既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。 我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-08-03T23:59:31Z)
• RelBench: A Benchmark for Deep Learning on Relational Databases [78.52438155603781]
  本稿では,グラフニューラルネットワークを用いたデータベース上でタスクを解くための公開ベンチマークであるRelBenchを紹介する。 私たちはRelBenchを使って、ディープラーニングインフラストラクチャに関する初の総合的な研究を行っています。 RDLは、人間の作業量を1桁以上削減しながら、より良く学習する。
  論文  参考訳（メタデータ） (2024-07-29T14:46:13Z)
• How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
  様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。 線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
  論文  参考訳（メタデータ） (2023-10-12T15:01:43Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。