論文の概要: FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data

• arxiv url: http://arxiv.org/abs/2603.16513v2
• Date: Fri, 20 Mar 2026 05:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 13:01:03.816049
• Title: FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data
• Title（参考訳）: FEAT: 極大規模構造化データのための線形複雑基礎モデル
• Abstract要約: 本研究では,大規模構造化データに対する線形複雑基礎モデルFEATを提案する。 FEATはゼロショット性能で一貫してベースラインを上回り、線形にスケーリングし、最大40倍高速な推論を実現している。 11の実世界のデータセットの実験では、FEATはゼロショットのパフォーマンスでベースラインを一貫して上回り、線形にスケーリングし、最大40倍高速な推論を実現している。
• 参考スコア（独自算出の注目度）: 14.279194790065779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured data is foundational to healthcare, finance, e-commerce, and scientific data management. Large structured-data models (LDMs) extend the foundation model paradigm to unify heterogeneous datasets for tasks such as classification, regression, and decision support. However, existing LDMs face major limitations. First, most rely on sample-wise self-attention, whose O(N^2) complexity limits the sample count. Second, linear sequence models often degrade representations due to hidden-state compression and artificial causal bias. Third, synthetic-only pre-training often fails to match real-world distributions. We propose FEAT, a linear-complexity foundation model for extremely large structured data. FEAT introduces a multi-layer dual-axis architecture that replaces quadratic attention with hybrid linear encoding. The architecture combines adaptive-fusion bi-Mamba-2 (AFBM) for local sample dependencies and convolutional gated linear attention (Conv-GLA) for global memory. This design enables linear-complexity cross-sample modeling while preserving expressive representations. To improve robustness, FEAT adopts a hybrid structural causal model pipeline and a stable reconstruction objective. Experiments on 11 real-world datasets show that FEAT consistently outperforms baselines in zero-shot performance, while scaling linearly and achieving up to 40x faster inference.
• Abstract（参考訳）: 構造化データは、医療、金融、電子商取引、科学データ管理に基礎を置いている。 大規模構造化データモデル(LDM)は基礎モデルパラダイムを拡張し、分類、回帰、意思決定支援といったタスクのための異種データセットを統合する。 しかし、既存のLCDには大きな制限がある。 まず、ほとんどの場合、O(N^2) の複雑さがサンプル数を制限するサンプルワイド自己アテンションに依存する。 第二に、線形シーケンスモデルはしばしば隠れ状態圧縮と人工因果バイアスにより表現が劣化する。 第三に、合成専用の事前学習は現実世界の分布と一致しないことが多い。 極大構造データに対する線形複雑基礎モデルFEATを提案する。 FEATは、二次的注意をハイブリッド線形符号化に置き換える多層二重軸アーキテクチャを導入している。 このアーキテクチャは、局所的なサンプル依存のためのアダプティブ・フュージョン・バイ・マンバ-2(AFBM)と、グローバルメモリのための畳み込みゲート線形注意(Conv-GLA)を組み合わせたものである。 この設計により、表現表現を保ちながら線形複雑度クロスサンプルモデリングが可能となる。 堅牢性を改善するため、FEATはハイブリッド構造因果モデルパイプラインと安定した再構築目標を採用した。 11の実世界のデータセットの実験では、FEATはゼロショットのパフォーマンスでベースラインを一貫して上回り、線形にスケーリングし、最大40倍高速な推論を実現している。

関連論文リスト

• A Theoretical Framework for Modular Learning of Robust Generative Models [41.69461814486466]
  大規模生成モデルのトレーニングはリソース集約的であり、データセットの重み付けに大きく依存している。 本稿では,事前学習した専門家の集合をゲーティング機構を介して組み合わせたモジュラー生成モデリングの理論的枠組みを提案する。 モジュラーアーキテクチャは、競合を効果的に軽減し、モノリシックなベースラインを堅牢に上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-19T17:09:13Z)
• Residual Prior Diffusion: A Probabilistic Framework Integrating Coarse Latent Priors with Diffusion Models [0.5753274939310764]
  Residual Prior Diffusion (RPD) は、粗い事前モデルをまずデータ分散の大規模構造をキャプチャする2段階のフレームワークである。 RPDは、分布の大規模構造を維持しながら、精密な詳細を正確にキャプチャする。 自然画像生成タスクにおいて、RDDは、代表拡散ベースラインと一致または一致した生成品質を達成した。
  論文  参考訳（メタデータ） (2025-12-25T09:19:10Z)
• LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence [61.46575527504109]
  LimiX-16MとLimiX-2Mは、構造化されたデータを変数と欠落に対する共同分布として扱う。 サンプルサイズ,特徴次元,クラス数,カテゴリ間特徴比,欠落度,サンプル-特徴比の広い11種類の大規模構造化データベンチマークを対象としたLimiXモデルの評価を行った。
  論文  参考訳（メタデータ） (2025-09-03T17:39:08Z)
• Gated Associative Memory: A Parallel O(N) Architecture for Efficient Sequence Modeling [0.0]
  Gated Associative Memory (GAM) ネットワークは、シーケンスモデリングのための新しい完全に並列なアーキテクチャである。 我々はGAMをゼロから実装し、標準的なトランスフォーマーモデルと現代的な線形時間ベースラインに対して厳密な比較分析を行う。 我々の実験は、GAMは一貫して高速で、トレーニング速度のベースラインの両方を上回り、全てのデータセットで優れた、または競争力のある最終バリデーションの難しさを達成できることを示した。
  論文  参考訳（メタデータ） (2025-08-30T20:59:46Z)
• C2-Evo: Co-Evolving Multimodal Data and Model for Self-Improving Reasoning [78.36259648527401]
  C2-Evoは、トレーニングデータとモデル機能の両方を共同で進化させる、自動クローズドループ自己改善フレームワークである。 C2-Evoは、複数の数学的推論ベンチマークにおいて、一定の性能向上が得られることを示す。
  論文  参考訳（メタデータ） (2025-07-22T12:27:08Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。