論文の概要: SOMTab: Set-Order Mamba for Efficient Tabular In-Context Learning

• arxiv url: http://arxiv.org/abs/2608.27882v1
• Date: Fri, 28 Aug 2026 03:43:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.195674
• Title: SOMTab: Set-Order Mamba for Efficient Tabular In-Context Learning
• Title（参考訳）: SOMTab: 単語内学習を効果的に行うための整列マンバ
• Abstract要約: 本稿では,テキスト内学習を効率的に行うためのSet-Order MambaアーキテクチャであるSOMTabを紹介する。 行と列の表現については、順序のないテーブルトークンを安定な潜在スロットにマッピングし、Mambaベースの状態空間混合を適用する。 最終的な予測のために、ラベル付きコンテキストの例からクエリ条件付き検索を保存するために、注意ベースのコンテキスト内学習を保持する。
• 参考スコア（独自算出の注目度）: 30.163512246197843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular foundation models based on in-context learning have recently emerged as strong alternatives to task-specific model fitting. However, the current performance frontier remains dominated by attention-heavy architectures, where attention is used throughout the modeling pipeline. This raises a natural question: is attention necessary at every stage of tabular in-context learning? We introduce SOMTab, a Set-Order Mamba architecture for efficient tabular in-context learning. SOMTab separates representation construction from query-conditioned retrieval. For row and column representations, it maps unordered table tokens into stable latent slots and applies Mamba-based state-space mixing to construct compact representations. For final prediction, it retains attention-based in-context learning to preserve query-conditioned retrieval from labeled context examples. We further introduce DCH-TailMix, a synthetic prior that combines degree-corrected graph heterogeneity with mixed heavy-tailed regimes to diversify synthetic dependency structures. Across tabular benchmarks, SOMTab approaches the performance of strong Transformer-based tabular foundation models while achieving faster inference and lower GPU memory usage, yielding a favorable efficiency--accuracy trade-off.
• Abstract（参考訳）: タスク固有のモデルフィッティングの強力な代替手段として、文脈内学習に基づくタブラル基礎モデルが最近登場した。 しかしながら、現在のパフォーマンスフロンティアは、モデリングパイプライン全体を通して注目される、注目度の高いアーキテクチャに支配されている。 これは自然な疑問を提起する: 表在文脈学習のあらゆる段階において注意が必要であるか? 本稿では,テキスト内学習を効率的に行うためのSet-Order MambaアーキテクチャであるSOMTabを紹介する。 SOMTabは、表現構築をクエリ条件付き検索から分離する。 行と列の表現については、順序のないテーブルトークンを安定な潜在スロットにマッピングし、Mambaベースの状態空間混合を用いてコンパクトな表現を構成する。 最終的な予測のために、ラベル付きコンテキストの例からクエリ条件付き検索を保存するために、注意ベースのコンテキスト内学習を保持する。 さらに、DCH-TailMixという合成前駆体を導入し、次数補正グラフの不均一性と混合重み付きレシエーションを組み合わせることで、合成依存構造を多様化する。 タブラベンチマーク全体にわたって、SOMTabは強力なTransformerベースのタブラ基盤モデルの性能にアプローチし、高速な推論とGPUメモリ使用率の低下を実現し、良好な効率-精度のトレードオフをもたらす。

関連論文リスト

• TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention [47.480923979431886]
  タブラル基礎モデルは、ラベル付きトレーニング例から直接テストラベルを推測して、コンテキスト内学習を通じて予測を行う。 最近のモデルでは、ますます複雑なアーキテクチャによって精度が向上し、推論コストが高くなり、実用的なデプロイメントが制限されることが多い。 ライトウェイトな行ワイドアテンションのみのバックボーンは、2つの単純な拡張と高い競争力を維持することができることを示す。
  論文  参考訳（メタデータ） (2026-06-05T14:55:30Z)
• TabEmbed: Benchmarking and Learning Generalist Embeddings for Tabular Understanding [35.46103363192022]
  埋め込みモデルの性能を評価するためにTabular Embedding Benchmark(TabBench)を導入する。 次に,タブ形式の分類と検索を共有埋め込み空間内で統合する最初の一般埋め込みモデルであるTabEmbedを提案する。 TabBenchの実験結果は、TabEmbedが最先端のテキスト埋め込みモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-06T14:22:34Z)
• RDBLearn: Simple In-Context Prediction Over Relational Databases [21.996337463952255]
  簡単なレシピを簡単なレシピでリレーショナルな予測に拡張できることを示す。 本手法は,Scikit-learn-style estimator インタフェースを備えた使いやすいツールキットである textitRDBLearn に実装する。 RelBenchと4DBInferデータセットの広範なコレクションの中で、RDBLearnは私たちが評価した最も優れた基盤モデルアプローチです。
  論文  参考訳（メタデータ） (2026-02-14T09:24:04Z)
• Comparing Task-Agnostic Embedding Models for Tabular Data [1.6479389738270018]
  この研究は特に表現学習、すなわち伝達可能なタスクに依存しない埋め込みに焦点を当てている。 テーブルライザ機能は、最近の基礎モデルよりも最大3桁高速で、同等または優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-18T09:10:40Z)
• Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
  実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。 Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-24T07:15:06Z)
• Multimodal Tabular Reasoning with Privileged Structured Information [67.40011423365712]
  ブリッジインfOrmation (sc Turbo) を用いたタブウラー推論(TabUlar Reasoning)について紹介する。 sc TurboはDeepSeek-R1をベースにした構造対応の推論トレースジェネレータの恩恵を受ける。 sc Turboは、複数のデータセットで最先端のパフォーマンス(+7.2%対以前のSOTA)を達成する。
  論文  参考訳（メタデータ） (2025-06-04T15:46:30Z)
• MambaTab: A Plug-and-Play Model for Learning Tabular Data [13.110156202816112]
  本研究は,表データに対する構造化状態空間モデル(SSM)であるMambaTabに基づく革新的なアプローチを導入する。 MambaTabは、さまざまなベンチマークデータセットで実証的に検証されるように、パラメータを著しく少なくしながら、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-01-16T22:44:12Z)
• Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding [79.9461269253121]
  そこで我々は、中間思考のプロキシとして、図表データを推論チェーンで明示的に使用するChain-of-Tableフレームワークを提案する。 Chain-of-TableはWikiTQ、FeTaQA、TabFactベンチマークで最新のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-01-09T07:46:26Z)
• TRUST: An Accurate and End-to-End Table structure Recognizer Using Splitting-based Transformers [56.56591337457137]
  本稿では,TRUSTと呼ばれるテーブル構造認識手法を提案する。 変換器は、大域的な計算、完全メモリ、並列計算のためにテーブル構造認識に適している。 我々はPubTabNetやSynthTableなど,いくつかの人気のあるベンチマークで実験を行い,新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-08-31T08:33:36Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。