論文の概要: OpenRFM: Dissecting Relational In-Context Learning

• arxiv url: http://arxiv.org/abs/2606.04320v1
• Date: Wed, 03 Jun 2026 00:48:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.451247
• Title: OpenRFM: Dissecting Relational In-Context Learning
• Title（参考訳）: OpenRFM:リレーショナルインコンテキストラーニングの分離
• Authors: Zhikai Chen, Junyu Yin, Jialiang Gu, Siheng Xiong, Xiaoze Liu, Ruowang Zhang, Keren Zhou, Kai Guo,
• Abstract要約: In-context Learning (ICL) を通じて1回のパスで返される事前学習された予測器は,ラベルとセルの関係が疎い場合に故障することを示す。 本稿では,リレーショナルバックボーンと,事前学習した表層基礎モデルから持ち上げられたバッチレベルICL層を結合して,関係レベルのラベル不足を克服する2段ICLアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 15.623084178502053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relational Foundation Models (RFMs) promise a single pre-trained predictor that, given any relational database, returns predictions in one forward pass via relational in-context learning (ICL). Yet a substantial gap separates open RFMs from their commercial counterparts, and the origin of this gap has not been systematically understood. We dissect a representative framework, the Relational Transformer (RT), from two perspectives. Model side: we show that RT performs relation-level ICL, and a kernel regression view shows it fails when sparse label-cell coverage yields an underdetermined regression. Data side: we ablate RT's pre-training source and find that existing synthetic-only pre-training and in-distribution pre-training drive the same architecture into different regimes, lazy vs. feature-learning. Probing this gap reveals that the missing ingredient is a support-identifiable relational latent in the label-generation process. These two diagnoses translate into (1) a dual-stage ICL architecture that combines the relational backbone with a batch-level ICL layer lifted from a pre-trained tabular foundation model to overcome relation-level label scarcity, and (2) a homophily-aware synthetic plus continual real-data pre-training mixture, augmented with a prototype-based regularization. These choices define OpenRFM, a simple yet effective RFM that improves average task performance by approximately 30% over the RT backbone and surpasses the commercial model KumoRFMv1 on a large set of evaluation tasks.
• Abstract（参考訳）: リレーショナル・ファンデーション・モデル(RFM)は、任意のリレーショナル・データベースが与えられた場合、リレーショナル・イン・コンテキスト・ラーニング(ICL)を介して1つのフォワード・パスで予測を返す1つの事前訓練された予測器を約束する。 しかし、実質的なギャップは、オープンRAMと商業的ギャップを分離し、このギャップの起源は体系的に理解されていない。 我々は2つの観点から、代表的なフレームワークであるリレーショナルトランスフォーマー(RT)を識別する。 モデル側: RT が関係レベル ICL を実行することを示し、カーネルレグレッションビューは、スパースラベルセルのカバレッジが未決定のレグレッションをもたらすときに失敗することを示している。 データ側: RTの事前トレーニングソースを廃止し、既存の合成専用事前トレーニングと非配布事前トレーニングが、同じアーキテクチャを、遅延対フィーチャーラーニングという異なるレシエーションに導くことを発見した。 このギャップは、ラベル生成プロセスにおいて、サポート識別可能なリレーショナル潜伏剤が欠落していることを示している。 これらの2つの診断は,(1)関係バックボーンと,(2)関係レベルラベルの不足を克服するためにトレーニング済みの表層モデルから持ち上げられたバッチレベルのICL層を結合した2段階のICLアーキテクチャ,(2)プロトタイプベースの正規化で強化されたホモフィア認識合成および連続的な実データ事前学習混合物に翻訳される。 OpenRFMは、RTバックボーン上で平均タスク性能を約30%改善し、多数の評価タスクにおいて商用モデルであるKumoRFMv1を上回る、シンプルで効果的なRAMである。

関連論文リスト

• RelPrism: A Multi-Faceted Pre-training Framework with Self-Generated Tasks for Relational Databases [49.47033473074821]
  RDBのための多面的自己教師型学習フレームワークであるRelPrismを提案する。 RDBタスクは、しばしば異なる視点と粒度の多面的な情報を必要とする。 以上の結果から,RelPrismはROC-AUCを4.15%改善し,MAEを10.75%削減した。
  論文  参考訳（メタデータ） (2026-05-22T05:19:58Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• Rel-MOSS: Towards Imbalanced Relational Deep Learning on Relational Databases [66.24230877709756]
  リレーショナルディープラーニング(RDL)は、リレーショナルデータベース(RDB)を異種エンティティグラフとして構成するために提案される。 既存のRDL手法は、RDBにおける関係データの不均衡問題を無視し、少数民族を過小評価するリスクを負う。 本研究では,RDBエンティティ分類におけるクラス不均衡問題を初めて検討し,関係中心型マイノリティー合成オーバーサンプリングGNNを設計する。
  論文  参考訳（メタデータ） (2026-03-09T03:18:26Z)
• Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data [38.656987194921854]
  Transformer (RT) アーキテクチャは、様々なリレーショナルデータベース上で事前トレーニングすることができる。 RTは強いゼロショットを破り、バイナリ分類タスクにおいて、完全に教師されたAUROCの93%を平均化する。
  論文  参考訳（メタデータ） (2025-10-07T18:51:51Z)
• Round-trip Reinforcement Learning: Self-Consistent Training for Better Chemical LLMs [51.29260537017623]
  大規模言語モデル (LLM) は計算化学の汎用基盤モデルとして登場しつつある。 これらのモデルは、しばしば往復一貫性を欠いている。 本稿では,その一貫性を向上させるためにモデルをトレーニングする新しいフレームワークであるRound-Trip Reinforcement Learning(RTRL)を紹介する。
  論文  参考訳（メタデータ） (2025-10-01T23:58:58Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Continual Contrastive Finetuning Improves Low-Resource Relation Extraction [34.76128090845668]
  関係抽出は低リソースのシナリオやドメインでは特に困難である。 近年の文献は自己教師型学習によって低リソースREに取り組みつつある。 コントラスト学習の一貫した目的を用いたREモデルの事前学習と微調整を提案する。
  論文  参考訳（メタデータ） (2022-12-21T07:30:22Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。