論文の概要: Orion-Bix: Bi-Axial Attention for Tabular In-Context Learning

• arxiv url: http://arxiv.org/abs/2512.00181v1
• Date: Fri, 28 Nov 2025 19:42:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.10189
• Title: Orion-Bix: Bi-Axial Attention for Tabular In-Context Learning
• Title（参考訳）: Orion-Bix: 語彙内学習のための二軸注意
• Authors: Mohamed Bouadi, Pratinav Seth, Aditya Tanna, Vinay Kumar Sankarapu,
• Abstract要約: オリオンビクス(Orion-Bix)は、二軸的注意とメタ学習した文脈内推論を組み合わせた基礎モデルである。 エンコーダは、標準、グループ化、階層化、およびリレーショナルアテンションを交互に行い、多軸の要約を通じて出力を融合させる。 ラベルを意識したICLヘッドは、階層的な決定ルーティングを通じて大きなラベル空間に適応し、スケールする。
• 参考スコア（独自算出の注目度）: 3.884856136722027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular data drive most real-world machine learning applications, yet building general-purpose models for them remains difficult. Mixed numeric and categorical fields, weak feature structure, and limited labeled data make scaling and generalization challenging. To this end, we introduce Orion-Bix, a tabular foundation model that combines biaxial attention with meta-learned in-context reasoning for few-shot tabular learning. Its encoder alternates standard, grouped, hierarchical, and relational attention, fusing their outputs through multi-CLS summarization to capture both local and global dependencies efficiently. A label-aware ICL head adapts on the fly and scales to large label spaces via hierarchical decision routing. Meta-trained on synthetically generated, structurally diverse tables with causal priors, Orion-Bix learns transferable inductive biases across heterogeneous data. Delivered as a scikit-learn compatible foundation model, it outperforms gradient-boosting baselines and remains competitive with state-of-the-art tabular foundation models on public benchmarks, showing that biaxial attention with episodic meta-training enables robust, few-shot-ready tabular learning. The model is publicly available at https://github.com/Lexsi-Labs/Orion-BiX .
• Abstract（参考訳）: タブラルデータはほとんどの現実世界の機械学習アプリケーションを駆動するが、それらの汎用モデルを構築することは依然として難しい。 混合数値およびカテゴリフィールド、弱い特徴構造、限定ラベル付きデータにより、スケーリングと一般化が困難になる。 この目的のために,2軸的注意とメタ学習を用いた表層学習のための文内推論を組み合わせた表層基礎モデルOrion-Bixを導入する。 エンコーダは、標準化、グループ化、階層化、およびリレーショナルアテンションを交互に行い、マルチCLS要約を通じて出力を融合させ、局所的およびグローバルな依存関係を効率的にキャプチャする。 ラベルを意識したICLヘッドは、階層的な決定ルーティングを通じて大きなラベル空間に適応し、スケールする。 オリオン・ビックスは、合成的に生成された、構造的に多様な表に基づいて訓練され、異種データ間で伝達可能な帰納バイアスを学習する。 Scikit-Lern互換基盤モデルとして提供され、勾配ブースティングベースラインを上回り、公開ベンチマーク上で最先端の表層基盤モデルと競合し続けており、エピソードなメタトレーニングによる二軸的注意が頑健で、数発の表層学習を可能にしていることを示している。 モデルはhttps://github.com/Lexsi-Labs/Orion-BiXで公開されている。

関連論文リスト

• iLTM: Integrated Large Tabular Model [41.81329403540607]
  iLTMは、木由来の埋め込み、次元に依存しない表現、メタトレーニングされたハイパーネットワーク、多層パーセプトロン、単一のアーキテクチャ内での検索を統一する統合された大型タブラルモデルである。
  論文  参考訳（メタデータ） (2025-11-20T00:20:16Z)
• Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning [3.884856136722027]
  マルチスケール処理,ブロックスパースアテンション,Perceiverスタイルのメモリを備えた新しいICLアーキテクチャであるOrion-MSPを紹介する。 Orion-MSPは、高次元テーブルに効果的にスケーリングしながら、最先端のパフォーマンスにマッチまたは超越する。
  論文  参考訳（メタデータ） (2025-11-04T18:43:44Z)
• Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
  実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。 Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-24T07:15:06Z)
• LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence [61.46575527504109]
  LimiX-16MとLimiX-2Mは、構造化されたデータを変数と欠落に対する共同分布として扱う。 サンプルサイズ,特徴次元,クラス数,カテゴリ間特徴比,欠落度,サンプル-特徴比の広い11種類の大規模構造化データベンチマークを対象としたLimiXモデルの評価を行った。
  論文  参考訳（メタデータ） (2025-09-03T17:39:08Z)
• Representation Learning for Tabular Data: A Comprehensive Survey [23.606506938919605]
  行と列として構造化されたタブラルデータは、機械学習の分類と回帰アプリケーションにおいて最も一般的なデータタイプの一つである。 ディープニューラルネットワーク(DNN)は、最近、表現学習の能力を通じて有望な結果を実証した。 既存の手法を一般化能力に応じて3つの主要なカテゴリに分類する。
  論文  参考訳（メタデータ） (2025-04-17T17:58:23Z)
• Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
  わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。 本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。 本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
  論文  参考訳（メタデータ） (2025-03-28T07:23:07Z)
• Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Is margin all you need? An extensive empirical study of active learning on tabular data [66.18464006872345]
  我々は,OpenML-CC18ベンチマークを用いて,69の実世界のデータセット上での各種能動学習アルゴリズムの性能を解析した。 意外なことに、古典的なマージンサンプリング技術は、現在の最先端技術を含む、他のすべてのものよりも優れている。
  論文  参考訳（メタデータ） (2022-10-07T21:18:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。