論文の概要: ElTab: Elastically Looped Tabular Transformers

• arxiv url: http://arxiv.org/abs/2610.41819v1
• Date: Fri, 30 Oct 2026 14:39:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.775545
• Title: ElTab: Elastically Looped Tabular Transformers
• Title（参考訳）: ElTab: 弾性ループ型タブラルトランス
• Abstract要約: 計算予算の異なる単一モデルであるElastically Looped Tabular Transformer (ElTab)を導入する。 30のOpenML分類データセットで、1つのElTabモデルは6つの深さ特化ループモデルと一致し、トレーニングコストを半分以上削減する。 その結果, 弾性深度トレーニングは, 予測性能, ストレージ, 計算コストのトレードオフとして, 目前の展開予算に適合する単一モデルが得られることがわかった。
• 参考スコア（独自算出の注目度）: 35.34976827154068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular transformer models such as TabPFN achieve strong predictive performance but incur substantial inference costs, making them difficult to deploy in resource-constrained settings. While looped transformers reduce parameter count through weight sharing, they can lose significant predictive power when stopped early. To address this challenge, we introduce the Elastically Looped Tabular Transformer (ElTab), a single model trained to operate across different computational budgets through supervision at randomly sampled early exits. Across 30 OpenML classification datasets, a single ElTab model matches six depth-specific looped models while cutting training cost by more than half, and matches a 12-layer TabPFN-style baseline with 25% fewer inference FLOPs. These results show that elastic-depth training yields a single model that adapts to the deployment budget at hand, offering a favorable trade-off among predictive performance, storage, and computational cost.
• Abstract（参考訳）: TabPFNのようなタブラルトランスフォーマーモデルは、強い予測性能を実現するが、かなりの推論コストを発生させるため、リソース制約のある環境でのデプロイが困難になる。 ループ変換器は重み分けによってパラメータ数を減少させるが、早めに停止するとかなりの予測力を失う可能性がある。 この課題に対処するために、ランダムにサンプリングされた早期出口の監督を通じて、異なる計算予算をまたいで動作するよう訓練された単一モデルであるElastically Looped Tabular Transformer (ElTab)を導入する。 30のOpenML分類データセットのうち、1つのElTabモデルは、トレーニングコストを半分以上削減しながら、深さ固有のループモデル6つと一致し、12層のTabPFNスタイルのベースラインと、推論FLOPを25%少なくする。 これらの結果から, 弾性深度トレーニングは, 予測性能, ストレージ, 計算コストのトレードオフとして, 目前の展開予算に適合する1つのモデルが得られることがわかった。

関連論文リスト

• Is TabPFN the Silver Bullet for Insurance Pricing? [4.5497948012757865]
  タブラル基礎モデル(TFM)は基本的に異なる推論パラダイムを示す。 大量の合成データセットを事前学習することにより、TFMはコンテキスト内学習を通じて新しいデータに対する推論を可能にする。 本稿では,自動車保険価格に対するTabPFNの実証評価について述べる。
  論文  参考訳（メタデータ） (2026-05-21T13:59:06Z)
• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• TabImpute: Accurate and Fast Zero-Shot Missing-Data Imputation with a Pre-Trained Transformer [10.73832903466491]
  TabImputeはトレーニング済みのトランスフォーマーで、正確で高速なゼロショット計算を提供する。 MissBenchは、32ドルのOpenMLデータセットと13ドルの欠落パターンを備えた計算方法の評価のためのベンチマークである。
  論文  参考訳（メタデータ） (2025-10-03T00:08:54Z)
• Adaptive Point Transformer [88.28498667506165]
  Adaptive Point Cloud Transformer (AdaPT) は、適応トークン選択機構によって強化された標準PTモデルである。 AdaPTは推論中のトークン数を動的に削減し、大きな点雲の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2024-01-26T13:24:45Z)
• LEMON: Lossless model expansion [43.40389747029802]
  ディープニューラルネットワーク、特にトランスフォーマーのスケーリングは、その急増するパフォーマンスにとって重要なものだ。 私たちは、より小さいがトレーニング済みのモデルの重みを使ってスケールされたモデルを初期化するレシピである、textbfL$ossl$textbfE$ss $textbfMO$del Expansio$textbfN$ (LEMON)を提示します。 LEMONは,視覚変換器の計算コストを56.7%削減し,BERTの33.2%削減した。
  論文  参考訳（メタデータ） (2023-10-12T03:02:41Z)
• Sorted LLaMA: Unlocking the Potential of Intermediate Layers of Large Language Models for Dynamic Inference [32.62084449979531]
  SortedNet を Sorted Fine-Tuning (SoFT) に置き換えることで生成 NLP タスクに拡張する。 我々のアプローチはモデル効率を向上し、推論中に様々なシナリオに対する複数のモデルの必要性を排除します。 以上の結果から,SFT+ICT(Early-Exit)と標準ファインチューニング(SFT+ICT)と比較して,サブモデルの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-16T11:58:34Z)
• Instant Soup: Cheap Pruning Ensembles in A Single Pass Can Draw Lottery Tickets from Large Models [106.19385911520652]
  Lottery Ticket hypothesis (LTH)とその変種は、パラメーターワークを生成する大規模な事前訓練モデルを作成するために利用されてきた。 LTHは反復的フルトレーニングと反復的マグニチュードプルーニング(IMP)のプルーニングルーチンによって著しく抑制される Instant Soup Pruning (ISP) を提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:09:52Z)
• Efficient GPT Model Pre-training using Tensor Train Matrix Representation [65.96485282393361]
  大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。 GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。 GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:38:25Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。