論文の概要: Causilo Technical Report

• arxiv url: http://arxiv.org/abs/2609.22866v1
• Date: Sat, 19 Sep 2026 08:09:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.576319
• Title: Causilo Technical Report
• Title（参考訳）: Causilo 技術報告
• Abstract要約: Causiloは、非常に高速な推論と、フロンティア予測のパフォーマンスを組み合わせたものだ。 TabArenaでは、カウシロは1K検体あたり0.10秒の中央推定時間で1785.4エロを達成した。
• 参考スコア（独自算出の注目度）: 8.017474242820297
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Causilo, a tabular foundation model (TFM) that combines frontier predictive performance with exceptionally fast inference. On TabArena, Causilo achieves 1785.4 Elo, at a median inference time of 0.10 seconds per 1K test samples. It outperforms TabPFN-3.5-Fast with 31.6% less inference time, placing it on the performance--efficiency Pareto frontier. Causilo follows TabICL's column-then-row architecture but introduces another row-refinement module before row compression. This module exchanges information among cell representations within each row after column encoding. The refined cells then visit the context set again through an additional column stage before being compressed into row embeddings. For inference efficiency, both row stages use cross-attention through a fixed number of summary tokens, keeping their attention cost linear in the number of features. Pretrained on approximately 36M synthetic tables, Causilo delivers strong benchmark results across TabArena, BeyondArena, and ScoringBench, achieving frontier-level performance with substantially faster inference.
• Abstract（参考訳）: 本稿では,フロンティア予測性能と極めて高速な推論を組み合わせた表層基礎モデルCausiloを紹介する。 TabArenaでは、カウシロは1K検体あたり0.10秒の中央推定時間で1785.4エロを達成した。 これはTabPFN-3.5-Fastよりも31.6%低い推論時間で性能を向上し、パレートフロンティアの性能向上に寄与した。 CausiloはTabICLの列-then-rowアーキテクチャに従っているが、行圧縮の前に別の行-refinementモジュールを導入する。 このモジュールは、列エンコーディング後の各行内のセル表現間で情報を交換する。 精製されたセルは、行埋め込みに圧縮される前に、追加のカラムステージを通じて設定されたコンテキストを再び訪問する。 推論効率の面では、どちらの段も一定の数の要約トークンを通し、特徴数に注意を向けるコストを線形に保っている。 約36Mの合成テーブルで事前トレーニングされたCausiloは、TabArena、BeyondArena、ScoringBenchで強力なベンチマーク結果を提供し、かなり高速な推論でフロンティアレベルのパフォーマンスを実現している。

関連論文リスト

• QueryFormer: Winning Solution for KDD Cup 2026 Tencent UniRec Challenge [7.822815722530024]
  ポストクリック変換率(pCVR)予測は、機能相互作用とシーケンシャルなユーザの振る舞いを共同でモデル化する必要がある。 KDDカップ2026 Tencent UniRec Challengeは、両方に対処する統一アーキテクチャを求めている。 我々は、スタック可能な統一フィールド-シーケンスブロックを中心にしたQueryFormerを提案する。
  論文  参考訳（メタデータ） (2026-09-15T02:46:27Z)
• EXAONE Tabular 1.0 : Technical Report [12.091751977253866]
  EXAONE Tabularは、分類と回帰のためのコンパクトモデルファミリである。 データセット固有の勾配更新なしで予測を生成する。 高い予測性能と高い効率を兼ね備えている。
  論文  参考訳（メタデータ） (2026-08-26T13:17:20Z)
• TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention [47.480923979431886]
  タブラル基礎モデルは、ラベル付きトレーニング例から直接テストラベルを推測して、コンテキスト内学習を通じて予測を行う。 最近のモデルでは、ますます複雑なアーキテクチャによって精度が向上し、推論コストが高くなり、実用的なデプロイメントが制限されることが多い。 ライトウェイトな行ワイドアテンションのみのバックボーンは、2つの単純な拡張と高い競争力を維持することができることを示す。
  論文  参考訳（メタデータ） (2026-06-05T14:55:30Z)
• TabPFN-3: Technical Report [76.55249061301969]
  TabPFN-3はTabPFN上に構築され、1Mのトレーニング行を持つデータセットに最先端のパフォーマンスを拡大し、トレーニングと推論時間を大幅に短縮する。 TabPFN-3は、我々の以前の合成データのみに制限され、表の予測のフロンティアを劇的に押し上げます。 当社のAPIが提供するTabPFN-3-Plus(Thinking)では,TabArena上で200Elo以上の非TabPFNモデルに対して,これを活用しています。
  論文  参考訳（メタデータ） (2026-05-13T18:01:43Z)
• TabPFN-2.5: Advancing the State of the Art in Tabular Foundation Models [76.52858476275865]
  TabPFN-2.5は5万のデータポイントと2,000の機能を持つデータセット用に構築されている。 チューニングされたツリーベースモデルとAutoGluon 1.4の精度を大幅に上回った。 生産用として,TabPFN-2.5を小型または木製アンサンブルに変換する新しい蒸留エンジンを導入する。
  論文  参考訳（メタデータ） (2025-11-11T18:57:15Z)
• Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction [52.14200610448542]
  変圧器は二次的な複雑さを持ち、長いシーケンスに対して高い推論コストとレイテンシをもたらす。 本稿では、この分布シフトを修正するためのシンプルで斬新で効果的な手順を提案する。 1Mトークンのプリフィル処理では,Flash Attention 2の32倍の速度で,約98.5%の間隔を維持することができる。
  論文  参考訳（メタデータ） (2025-05-16T13:48:33Z)
• TabICL: A Tabular Foundation Model for In-Context Learning on Large Data [15.08819125687632]
  最大60Kサンプルの合成データセットを事前学習した表層ベースモデルであるTabICLを導入する。 TALENTベンチマークから200を越える分類データセットのうち、TabICLはTabPFNv2と同等であり、体系的に高速(最大10倍)である。 10K以上のサンプルを持つ53のデータセットで、TabICLはTabPFNv2とCatBoostを上回り、大規模データに対するICLの可能性を示している。
  論文  参考訳（メタデータ） (2025-02-08T13:25:04Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)
• Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation [62.51758040848735]
  本稿では,リニアバイアス(ALiBi)を用いた簡易かつ効率的な検査法を提案する。 ALiBiは、単語の埋め込みに位置埋め込みを加えるのではなく、クエリキーのアテンションスコアを、その距離に比例する用語でバイアスする。 本手法では,長さ2048の入力シーケンスに外挿する長さ1024の入力シーケンスに対して,13億のパラメータモデルをトレーニングすることが可能であり,長さ2048の入力に基づいてトレーニングされた正弦波位置埋め込みモデルと同じ難易度を実現する。
  論文  参考訳（メタデータ） (2021-08-27T17:35:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。