論文の概要: OrionMoE-v1.0: A Mixture-of-Experts Foundation Model for Tabular In-Context Learning

• arxiv url: http://arxiv.org/abs/2610.20418v1
• Date: Wed, 14 Oct 2026 16:13:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.24813
• Title: OrionMoE-v1.0: A Mixture-of-Experts Foundation Model for Tabular In-Context Learning
• Title（参考訳）: OrionMoE-v1.0: 語彙内学習のためのMixture-of-Experts Foundation Model
• Abstract要約: OrionMoE-Smallは,分散認識表現とデータセット条件のスパース混合処理を組み合わせた,コンパクトな基礎モデルである。 OrionMoE-Smallはデュアル軸トランスフォーマーアーキテクチャ上に構築されており、個々の特徴表現とより広いデータセットコンテキストの両方から通知されるルーティング決定によって、特徴軸に沿って専門家を選択的に活性化する。
• 参考スコア（独自算出の注目度）: 0.5949779668853555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular foundation models enable in-context learning by predicting unseen observations from a labeled support table without task-specific parameter updates. Despite recent advances, most existing approaches rely on dense architectures that apply the same transformations across features and datasets. We introduce OrionMoE-Small, a compact tabular foundation model that combines distribution-aware representations with dataset-conditioned sparse mixture-of-experts computation. Built on a dual-axis Transformer architecture, OrionMoE-Small selectively activates experts along the feature axis, with routing decisions informed by both individual feature representations and the broader dataset context. This design enables adaptive allocation of computation across heterogeneous tabular problems while retaining a shared computational pathway across tasks. OrionMoE-Small is pretrained entirely on synthetic classification tasks generated from a structured causal prior and performs downstream prediction without gradient-based adaptation. Experiments across multiple tabular benchmarks demonstrate competitive performance against substantially larger foundation models, with particularly strong results on small-context and high-dimensional datasets. Further analysis reveals favorable relative performance under class imbalance and highlights the importance of feature composition.
• Abstract（参考訳）: タブラル基礎モデルは、タスク固有のパラメータ更新なしでラベル付きサポートテーブルから目に見えない観察を予測し、コンテキスト内学習を可能にする。 最近の進歩にもかかわらず、既存のアプローチのほとんどは、機能やデータセット間で同じ変換を適用するような、密集したアーキテクチャに依存している。 OrionMoE-Smallは,分散認識表現とデータセット条件のスパース混合処理を組み合わせた,コンパクトな表層基礎モデルである。 OrionMoE-Smallはデュアル軸トランスフォーマーアーキテクチャ上に構築されており、個々の特徴表現とより広いデータセットコンテキストの両方から通知されるルーティング決定によって、特徴軸に沿って専門家を選択的に活性化する。 この設計により、タスク間で共有された計算経路を保持しながら、不均一な表型問題にまたがる計算を適応的に割り当てることができる。 OrionMoE-Smallは、構造化因果関係から生成された合成分類タスクに事前訓練され、勾配に基づく適応なしに下流予測を行う。 複数の表付きベンチマークによる実験は、より大規模な基礎モデルに対する競合性能を示し、特に小規模コンテキストと高次元データセットに対する強い結果が得られた。 さらなる分析により、クラス不均衡下での良好な相対性能が明らかとなり、特徴合成の重要性が強調される。

関連論文リスト

• Tabular Foundation Model for Generative Modelling [34.3599321018728]
  生成モデリングは、教師付き予測対象のみを最適化するのではなく、与えられたデータモダリティに対して堅牢で全体論的表現学習を必要とする。 既存の表形式のファンデーションジェネレータは、合成データ品質において、強力なデータセット固有のジェネレータと一貫して一致していない。 事前訓練されたtextbfTabular textbffoundational textbfRepresentation for textbfGEneration 上に構築した TabFORGE を紹介する。
  論文  参考訳（メタデータ） (2026-05-10T08:52:28Z)
• RDBLearn: Simple In-Context Prediction Over Relational Databases [21.996337463952255]
  簡単なレシピを簡単なレシピでリレーショナルな予測に拡張できることを示す。 本手法は,Scikit-learn-style estimator インタフェースを備えた使いやすいツールキットである textitRDBLearn に実装する。 RelBenchと4DBInferデータセットの広範なコレクションの中で、RDBLearnは私たちが評価した最も優れた基盤モデルアプローチです。
  論文  参考訳（メタデータ） (2026-02-14T09:24:04Z)
• LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence [61.46575527504109]
  LimiX-16MとLimiX-2Mは、構造化されたデータを変数と欠落に対する共同分布として扱う。 サンプルサイズ,特徴次元,クラス数,カテゴリ間特徴比,欠落度,サンプル-特徴比の広い11種類の大規模構造化データベンチマークを対象としたLimiXモデルの評価を行った。
  論文  参考訳（メタデータ） (2025-09-03T17:39:08Z)
• On Finetuning Tabular Foundation Models [29.76586200178702]
  TabPFNv2は、小規模データセット上の従来のGBDTベースのメソッドよりも優れたパフォーマンスを主張する。 多様なデータセットに対してTabPFNv2の様々な微調整戦略を評価する。 実験対象の問合せ表現の点生成物は, 勾配適応後, 目標の類似性をより正確に反映していることから, 微調整の成功が示唆された。
  論文  参考訳（メタデータ） (2025-06-10T16:52:31Z)
• Make Still Further Progress: Chain of Thoughts for Tabular Data Leaderboard [27.224577475861214]
  機械学習の基本的なデータフォーマットであるタブラルデータは、競争や現実世界のアプリケーションで主に利用されている。 本研究では,大規模言語モデルを活用したテキスト内アンサンブルフレームワークを提案する。 提案手法は,各テストインスタンスの周囲のコンテキストを,その近傍と外部モデルのプールからの予測を用いて構築する。
  論文  参考訳（メタデータ） (2025-05-19T17:52:58Z)
• A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
  Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。 本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。 我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
  論文  参考訳（メタデータ） (2025-02-24T17:38:42Z)
• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。