論文の概要: Recurrent In-Context Learning for Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2610.14998v1
• Date: Sat, 10 Oct 2026 15:26:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.141328
• Title: Recurrent In-Context Learning for Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルの反復的インコンテキスト学習
• Abstract要約: テキスト内学習(ICL)による新しいデータセットへのタブラリ基礎モデルの適用 そのようなモデルのICLステージは、各層に対して異なるパラメータセットを必要とするのか、それとも深さのみを必要とするのかを問う。 Tab-LoopはTabICLv2の12の未処理のICLブロックを4つの結びついたブロックで置き換えます。
• 参考スコア（独自算出の注目度）: 18.496315562513
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Tabular foundation models adapt to new datasets through in-context learning (ICL), and, like most transformers, they tie computational depth to the number of independently parameterized layers. We ask whether the ICL stage of such a model needs a distinct set of parameters for every layer, or only depth. We introduce Tab-Loop, which replaces the 12 untied ICL blocks of TabICLv2 with 4 tied blocks applied $k$ times and changes nothing else: the encoders, decoder, synthetic prior and training recipe are shared with an untied baseline trained for the same compute. At matched pretraining compute (18.2 EFLOP) and matched inference compute (12 block applications), Tab-Loop matches the baseline with 62\% fewer parameters (10.4M vs.\ 27.6M): held-out log loss is 0.4583 vs.\ 0.4588, mean accuracy on 200 TALENT datasets is 84.10\% vs.\ 83.92\%, and Elo on 38 TabArena datasets is 1409 vs.\ 1396. A 4-block untied control with Tab-Loop's parameter count, which sees 32\% more training tables for the same compute, trails both (83.46\%; Elo 1343). Because weights are shared, depth becomes a choice made at inference. Accuracy rises with the number of loops through the trained range and holds beyond it, and continued training with deeper loops extends the useful range, reaching the baseline's stage-2 scores at 4--5$\times$ its inference compute. At this scale, the ICL stage of a tabular foundation model needs depth more than it needs distinct parameters.
• Abstract（参考訳）: タブラル基礎モデルは、コンテキスト内学習(ICL)を通じて新しいデータセットに適応し、ほとんどのトランスフォーマーと同様に、計算深度を独立したパラメータ化されたレイヤーの数に結びつける。 そのようなモデルのICLステージは、各層に対して異なるパラメータセットを必要とするのか、それとも深さのみを必要とするのかを問う。 これはTabICLv2の12の未処理のICLブロックを4つの結び付きブロックで置き換えたもので、$k$倍の費用がかかり、それ以外は変更しない:エンコーダ、デコーダ、合成事前およびトレーニングのレシピは、同じ計算のために訓練された未処理のベースラインと共有される。 一致した事前学習計算(18.2 EFLOP)と一致した推論計算(12ブロックアプリケーション)では、タブループは62\%のパラメータ(10.4M対)でベースラインと一致した。 27.6M) 保持ログ損失は 0.4583 対 0.4583 である。 0.4588 であり、平均 TALENT データセットの平均精度は 84.10\% である。 83.92\%で、38のTabArenaデータセット上のEloは1409対0である。 1396年。 Tab-Loopのパラメータカウントによる4ブロックアンタイドコントロールは、同じ計算のトレーニングテーブルを32\%増加させ、どちらもパスする(83.46\%; Elo 1343)。 重みは共有されるので、深さは推論時に選択される。 トレーニングされた範囲のループの数によって精度が上昇し、それを超えて、より深いループでのトレーニングが有用な範囲を拡張し、ベースラインのステージ2スコアを4--5$\times$その推論計算に到達させる。 このスケールでは、表形式の基礎モデルのICLステージは、異なるパラメータ以上の深さを必要とする。

関連論文リスト

• Closing the Loop: Practical Training Recipes for Looped Language Models [0.6911410576481534]
  ループ言語モデルは、レイヤの共有ブロックを繰り返し適用することで、効果的な深さを増大させる。 既存の大規模なレシピでは、何兆ものトークンを多段階で訓練する必要がある。 ループ型言語モデルの実践的なトレーニングレシピを構築し,3つの主要な結果を得た。
  論文  参考訳（メタデータ） (2026-09-30T20:09:58Z)
• TabH2O: A Unified Foundation Model for Tabular Prediction [12.882141870947706]
  本研究では,テキスト内学習による1つの前方パスの分類と回帰を行うモデルであるTabH2Oを提案する。 我々はTALENTベンチマークでTabH2O v1(29.2Mパラメータ)を評価し、6つの評価手法のうち平均2.55のランクを達成した。
  論文  参考訳（メタデータ） (2026-05-18T13:27:54Z)
• TabularMath: Evaluating Computational Extrapolation in Tabular Learning via Program-Verified Synthesis [22.883505574924303]
  8KとAIMEに基づく検証プログラムから生成される114個の決定論的問題(233,472行)の診断ベンチマークであるTabularMathを提案する。 標準回帰指標では、TabPFN v2.5は、分布シフト下においてもR2=0.998の分布を達成し、正のR2を維持することができる。 丸みを帯びた一貫性(正確には整数の精度)を測定すると、別の図が現れる。 TabPFN v2.5は配布外データで10%以下に低下し、ICLは約40%を維持します。
  論文  参考訳（メタデータ） (2026-01-25T23:44:03Z)
• TabICL: A Tabular Foundation Model for In-Context Learning on Large Data [15.08819125687632]
  最大60Kサンプルの合成データセットを事前学習した表層ベースモデルであるTabICLを導入する。 TALENTベンチマークから200を越える分類データセットのうち、TabICLはTabPFNv2と同等であり、体系的に高速(最大10倍)である。 10K以上のサンプルを持つ53のデータセットで、TabICLはTabPFNv2とCatBoostを上回り、大規模データに対するICLの可能性を示している。
  論文  参考訳（メタデータ） (2025-02-08T13:25:04Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• DataComp: In search of the next generation of multimodal datasets [179.79323076587255]
  DataCompは、Common Crawlの128億の画像テキストペアの候補プールを中心にしたデータセット実験用のテストベッドである。 我々のベンチマークは、複数の計算スケールから成っている。 特に、最良のベースラインであるDataComp-1Bは、ImageNetでCLIP ViT-L/14をスクラッチから79.2%のゼロショット精度でトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2023-04-27T11:37:18Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。