論文の概要: FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data

• arxiv url: http://arxiv.org/abs/2603.16513v1
• Date: Tue, 17 Mar 2026 13:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.306276
• Title: FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data
• Title（参考訳）: FEAT: 極大規模構造化データのための線形複雑基礎モデル
• Authors: Zhenghang Song, Tang Qian, Lu Chen, Yushuai Li, Zhengke Hu, Bingbing Fang, Yumeng Song, Junbo Zhao, Sheng Zhang, Tianyi Li,
• Abstract要約: 本研究では,大規模構造化データに対する線形複雑基礎モデルFEATを提案する。 FEATはゼロショット性能で一貫してベースラインを上回り、線形にスケーリングし、最大40倍高速な推論を実現している。 11の実世界のデータセットの実験では、FEATはゼロショットのパフォーマンスでベースラインを一貫して上回り、線形にスケーリングし、最大40倍高速な推論を実現している。
• 参考スコア（独自算出の注目度）: 14.279194790065779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured data is foundational to healthcare, finance, e-commerce, and scientific data management. Large structured-data models (LDMs) extend the foundation model paradigm to unify heterogeneous datasets for tasks such as classification, regression, and decision support. However, existing LDMs face major limitations. First, most rely on sample-wise self-attention, whose O(N^2) complexity limits the sample count. Second, linear sequence models often degrade representations due to hidden-state compression and artificial causal bias. Third, synthetic-only pre-training often fails to match real-world distributions. We propose FEAT, a linear-complexity foundation model for extremely large structured data. FEAT introduces a multi-layer dual-axis architecture that replaces quadratic attention with hybrid linear encoding. The architecture combines adaptive-fusion bi-Mamba-2 (AFBM) for local sample dependencies and convolutional gated linear attention (Conv-GLA) for global memory. This design enables linear-complexity cross-sample modeling while preserving expressive representations. To improve robustness, FEAT adopts a hybrid structural causal model pipeline and a stable reconstruction objective. Experiments on 11 real-world datasets show that FEAT consistently outperforms baselines in zero-shot performance, while scaling linearly and achieving up to 40x faster inference.
• Abstract（参考訳）: 構造化データは、医療、金融、電子商取引、科学データ管理に基礎を置いている。 大規模構造化データモデル(LDM)は基礎モデルパラダイムを拡張し、分類、回帰、意思決定支援といったタスクのための異種データセットを統合する。 しかし、既存のLCDには大きな制限がある。 まず、ほとんどの場合、O(N^2) の複雑さがサンプル数を制限するサンプルワイド自己アテンションに依存する。 第二に、線形シーケンスモデルはしばしば隠れ状態圧縮と人工因果バイアスにより表現が劣化する。 第三に、合成専用の事前学習は現実世界の分布と一致しないことが多い。 極大構造データに対する線形複雑基礎モデルFEATを提案する。 FEATは、二次的注意をハイブリッド線形符号化に置き換える多層二重軸アーキテクチャを導入している。 このアーキテクチャは、局所的なサンプル依存のためのアダプティブ・フュージョン・バイ・マンバ-2(AFBM)と、グローバルメモリのための畳み込みゲート線形注意(Conv-GLA)を組み合わせたものである。 この設計により、表現表現を保ちながら線形複雑度クロスサンプルモデリングが可能となる。 堅牢性を改善するため、FEATはハイブリッド構造因果モデルパイプラインと安定した再構築目標を採用した。 11の実世界のデータセットの実験では、FEATはゼロショットのパフォーマンスでベースラインを一貫して上回り、線形にスケーリングし、最大40倍高速な推論を実現している。

関連論文リスト

• A Theoretical Framework for Modular Learning of Robust Generative Models [41.69461814486466]
  大規模生成モデルのトレーニングはリソース集約的であり、データセットの重み付けに大きく依存している。 本稿では,事前学習した専門家の集合をゲーティング機構を介して組み合わせたモジュラー生成モデリングの理論的枠組みを提案する。 モジュラーアーキテクチャは、競合を効果的に軽減し、モノリシックなベースラインを堅牢に上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-19T17:09:13Z)
• Residual Prior Diffusion: A Probabilistic Framework Integrating Coarse Latent Priors with Diffusion Models [0.5753274939310764]
  Residual Prior Diffusion (RPD) は、粗い事前モデルをまずデータ分散の大規模構造をキャプチャする2段階のフレームワークである。 RPDは、分布の大規模構造を維持しながら、精密な詳細を正確にキャプチャする。 自然画像生成タスクにおいて、RDDは、代表拡散ベースラインと一致または一致した生成品質を達成した。
  論文  参考訳（メタデータ） (2025-12-25T09:19:10Z)
• C2-Evo: Co-Evolving Multimodal Data and Model for Self-Improving Reasoning [78.36259648527401]
  C2-Evoは、トレーニングデータとモデル機能の両方を共同で進化させる、自動クローズドループ自己改善フレームワークである。 C2-Evoは、複数の数学的推論ベンチマークにおいて、一定の性能向上が得られることを示す。
  論文  参考訳（メタデータ） (2025-07-22T12:27:08Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。