論文の概要: Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning
- arxiv url: http://arxiv.org/abs/2511.02818v3
- Date: Fri, 07 Nov 2025 18:13:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-10 14:53:49.503279
- Title: Orion-MSP: Multi-Scale Sparse Attention for Tabular In-Context Learning
- Title（参考訳）: Orion-MSP:タブラルインコンテキスト学習のためのマルチスケールスパースアテンション
- Authors: Mohamed Bouadi, Pratinav Seth, Aditya Tanna, Vinay Kumar Sankarapu,
- Abstract要約: マルチスケール処理,ブロックスパースアテンション,Perceiverスタイルのメモリを備えた新しいICLアーキテクチャであるOrion-MSPを紹介する。
Orion-MSPは、高次元テーブルに効果的にスケーリングしながら、最先端のパフォーマンスにマッチまたは超越する。
- 参考スコア（独自算出の注目度）: 3.884856136722027
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tabular data remain the predominant format for real-world applications. Yet, developing effective neural models for tabular data remains challenging due to heterogeneous feature types and complex interactions occurring at multiple scales. Recent advances in tabular in-context learning (ICL), such as TabPFN and TabICL, have achieved state-of-the-art performance comparable to gradient-boosted trees (GBTs) without task-specific fine-tuning. However, current architectures exhibit key limitations: (1) single-scale feature processing that overlooks hierarchical dependencies, (2) dense attention with quadratic scaling in table width, and (3) strictly sequential component processing that prevents iterative representation refinement and cross-component communication. To address these challenges, we introduce Orion-MSP, a tabular ICL architecture featuring three key innovations: (1) multi-scale processing to capture hierarchical feature interactions; (2) block-sparse attention combining windowed, global, and random patterns for scalable efficiency and long-range connectivity; and (3) a Perceiver-style memory enabling safe bidirectional information flow across components. Across diverse benchmarks, Orion-MSP matches or surpasses state-of-the-art performance while scaling effectively to high-dimensional tables, establishing a new standard for efficient tabular in-context learning. The model is publicly available at https://github.com/Lexsi-Labs/Orion-MSP .
- Abstract（参考訳）: タブラルデータは、現実世界のアプリケーションの主要なフォーマットのままである。
しかし、表データに対する効果的なニューラルモデルの開発は、不均一な特徴タイプと複数のスケールで発生する複雑な相互作用のため、依然として困難なままである。
TabPFN や TabICL のような表在文脈学習(ICL)の最近の進歩は、タスク固有の微調整なしで、勾配付き木(GBT)に匹敵する最先端のパフォーマンスを実現している。
しかし,現状のアーキテクチャでは,(1)階層的依存関係を無視する単一スケールの特徴処理,(2)表幅の2次スケーリングに注意を集中させる処理,(3)反復的表現の洗練やコンポーネント間通信を防止するコンポーネント処理など,重要な制限がある。
これらの課題に対処するために,(1)階層的特徴相互作用を捉えるマルチスケール処理,(2)ウィンドウ,グローバル,ランダムなパターンを組み合わせたブロックスパース処理,(3)コンポーネント間の安全な双方向情報フローを実現するPerceiverスタイルのメモリ,という3つの重要なイノベーションを特徴とする表型ICLアーキテクチャであるOrion-MSPを紹介した。
多様なベンチマークを通じて、Orion-MSPは最先端のパフォーマンスにマッチするか、あるいは超越し、高次元テーブルに効果的にスケーリングし、効率的な表内テキスト学習のための新しい標準を確立する。
モデルはhttps://github.com/Lexsi-Labs/Orion-MSP で公開されている。
関連論文リスト
- TableDART: Dynamic Adaptive Multi-Modal Routing for Table Understanding [52.59372043981724]
TableDARTはトレーニング効率のよいフレームワークで、事前トレーニングされた単一モダリティモデルを再利用することでマルチモーダルビューを統合する。
さらに,テキストモデルと画像モデルからの出力を解析し,モーダル間知識統合のための新しいエージェントを提案する。
論文 参考訳（メタデータ） (2025-09-18T07:00:13Z) - MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。
MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-06-29T06:41:00Z) - CFMD: Dynamic Cross-layer Feature Fusion for Salient Object Detection [7.262250906929891]
クロス層機能ピラミッドネットワーク(CFPN)は,多層機能融合と境界詳細保存において顕著な進歩を遂げている。
これらの課題に対処するために,CFMDという,2つの重要なイノベーションを取り入れた,新しいクロスレイヤ機能ピラミッドネットワークを提案する。
まず,現在最先端のMambaアーキテクチャを組み込んで動的重み分布機構を構築するコンテキスト認識機能集約モジュール(CFLMA)を設計する。
第2に,分解能回復時に空間的詳細を保存する適応動的アップサンプリングユニット(CFLMD)を導入する。
論文 参考訳（メタデータ） (2025-04-02T03:22:36Z) - TabNSA: Native Sparse Attention for Efficient Tabular Data Learning [13.110156202816112]
TabNSAは、Native Sparse Attention(NSA)とTabMixerのバックボーンを統合する、新しいディープラーニングフレームワークである。
NSAは、トークン圧縮、選択的保存、局所的なスライディングウィンドウなど、階層的なスパークアテンション機構を採用している。
実験によると、TabNSAは最先端のディープラーニングモデルより一貫して優れている。
論文 参考訳（メタデータ） (2025-03-12T21:13:41Z) - Dynamic Cross-Modal Feature Interaction Network for Hyperspectral and LiDAR Data Classification [66.59320112015556]
ハイパースペクトル画像(HSI)とLiDARデータ共同分類は難しい課題である。
DCMNet(Dynamic Cross-Modal Feature Interaction Network)を提案する。
BSAB(Bilinear Spatial Attention Block)、BCAB(Bilinear Channel Attention Block)、ICB(Integration Convolutional Block)の3つの機能相互作用ブロックを導入している。
論文 参考訳（メタデータ） (2025-03-10T05:50:13Z) - TabGLM: Tabular Graph Language Model for Learning Transferable Representations Through Multi-Modal Consistency Minimization [2.1067477213933503]
TabGLM (Tabular Graph Language Model) はテーブルの構造情報と意味情報の両方をモデル化する新しいマルチモーダルアーキテクチャである。
テーブルの各行を完全に連結されたグラフとシリアライズされたテキストに変換し、それぞれグラフニューラルネットワーク(GNN)とテキストエンコーダを使って符号化する。
25のベンチマークデータセットに対する評価は、大幅なパフォーマンス向上を示している。
論文 参考訳（メタデータ） (2025-02-26T05:32:45Z) - A Survey on Deep Tabular Learning [0.0]
タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。
本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
論文 参考訳（メタデータ） (2024-10-15T20:08:08Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Efficient and Effective Deep Multi-view Subspace Clustering [9.6753782215283]
E$2$MVSC(Efficient and Effective Deep Multi-View Subspace Clustering)と呼ばれる新しいディープフレームワークを提案する。
パラメータ化されたFC層の代わりに、より計算効率のよいサンプル数からネットワークパラメータスケールを分離するRelation-Metric Netを設計する。
E$2$MVSCは既存のメソッドに匹敵する結果を出し、様々なタイプのマルチビューデータセットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-10-15T03:08:25Z) - Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。
Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-06-02T06:06:29Z) - Revealing the Invisible with Model and Data Shrinking for
Composite-database Micro-expression Recognition [49.463864096615254]
入力複雑性とモデル複雑性を含む学習複雑性の影響を分析する。
より浅層構造と低分解能入力データを探索する再帰畳み込みネットワーク(RCN)を提案する。
学習可能なパラメータを増やさなくてもRCNと統合できる3つのパラメータフリーモジュールを開発した。
論文 参考訳（メタデータ） (2020-06-17T06:19:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。