論文の概要: Adapting Linear-Time Architectures for Tabular In-Context Learning

• arxiv url: http://arxiv.org/abs/2609.36337v1
• Date: Mon, 28 Sep 2026 22:17:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.042563
• Title: Adapting Linear-Time Architectures for Tabular In-Context Learning
• Title（参考訳）: タブラルインコンテキスト学習のための線形時間アーキテクチャの適用
• Abstract要約: 因果モデルのための最良のトレーニング設定は、次のトーケン予測に類似していることが示される。 最も有望なリニアシークエンスミキサーは因果であり、DeltaNetは非因果リニアアテンションよりも優れている。
• 参考スコア（独自算出の注目度）: 37.452789741395435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models achieve strong performance by conditioning on labelled examples in context, but softmax attention limits their use on large datasets. Existing linear-time alternatives, however, are mostly causal, and their potential for tabular in-context learning (ICL) remains underexplored. To address this, we (1) revisit causal training setups, (2) compare linear sequence mixers, and (3) investigate their ICL generalisation beyond the pretraining context length. First, we show that the best training setup for causal models resembles next-token prediction. Then, perhaps surprisingly, the most promising linear sequence mixer is causal: DeltaNet outperforms even non-causal linear attention. However, it degrades beyond $2$-$4\times$ the pretraining context length, and existing mitigation strategies such as bidirectionality defer the problem at best. A hidden-state oracle shows that this is not a capacity problem. Instead, our analysis points to an instability in the recurrent state, which drifts in deeper layers of causal models. Since DeltaNet's learned write rates overfit to the pretraining regime, we modulate them with a time-dependent decay schedule intervention to stabilise length generalisation. Finally, re-introducing non-causality by reading out from the final state allows us to closely match a controlled softmax attention baseline on OpenML-CC18 and TabArena.
• Abstract（参考訳）: タブラル基礎モデルはラベル付き例を文脈で条件付けすることで高い性能を達成するが、ソフトマックスアテンションは大きなデータセットでの使用を制限する。 しかし、既存の線形時間代替法は概ね因果的であり、表在文脈学習(ICL)の可能性は未解明のままである。 これを解決するため,(1)因果訓練の見直し,(2)線形配列ミキサーの比較,(3)事前学習コンテキスト長を超えてICLの一般化を検討する。 まず、因果モデルのための最良のトレーニング設定が次のトーケン予測に類似していることを示す。 そして、おそらく意外なことに、最も有望な線形配列ミキサーは因果関係である。 しかし、事前訓練された文脈長が2ドルから4ドルを超えると劣化し、双方向性のような既存の緩和戦略が問題に悪影響を及ぼす。 隠れ状態のオラクルは、これがキャパシティの問題ではないことを示している。 その代わり、我々の分析は再帰状態の不安定さを指摘し、因果モデルの深い層に流れ込む。 DeltaNetの学習した書き込みレートは事前学習体制に過度に適合するため、時間依存の減衰スケジュール介入で修正し、長さの一般化を安定化する。 最後に、最終状態から読み出して非因果性を再導入することにより、OpenML-CC18とTabArenaの制御されたソフトマックスアテンションベースラインと密に一致させることができる。

関連論文リスト

• Architecture Alignment With Sparse Priors in Tabular Foundation Models [10.863806811775069]
  タブラル基礎モデル(TFM)は、コンテキスト内学習を通じて、新しいデータセットに対する強力な予測を提供するため、ますます人気が高まっている。 しかし、リリースされたTFMは、事前訓練された事前、アーキテクチャ、目的において同時に異なり、それぞれの帰納的バイアスを無視する。 アーキテクチャが無関係な機能抑制に寄与するかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-29T07:12:53Z)
• ChunkFlow: Towards Continuity-Consistent Chunked Policy Learning [5.727608625370017]
  ChunkFlowは、チャンクポリシーのためのSeam対応のトレーニング・アンド・エグゼクティブフレームワークである。 各チャンクを凍結し、編集可能で、将来のゾーンに分割し、実行時に決定論的重複を適用し、シームと第1、第2の連続性損失で生の予測を訓練する。 CALVIN、LIBERO、および実際のロボットの実験では、低レイテンシ推論による成功-安定トレードオフが改善されている。
  論文  参考訳（メタデータ） (2026-07-14T17:43:25Z)
• The Key to Going Linear: Analysis-Driven Transformer Linearization [8.56204304015324]
  ソフトマックスは、なぜデルタスタイルのネットワークが純粋に累積よりも優れているのかを解明し、キー依存のランク1プロジェクションに依存していることを示す。 近似誤差の潜在的な原因を特定し、特にトークンのシンク、短い畳み込み、固定予算キャッシュルーティングといった構造的介入を導入する。
  論文  参考訳（メタデータ） (2026-07-08T17:59:09Z)
• Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences [51.38664601405696]
  我々はDeltaNet,GDN,KDAのプレコンディション付き変種を,効率的なチャンクワイズ並列アルゴリズムとともに導入する。 予備条件付きデルタルールの繰り返しは,340M,1Bスケールでの合成リコールベンチマークと言語モデリングにおいて一貫した性能向上をもたらす。
  論文  参考訳（メタデータ） (2026-04-22T21:38:25Z)
• Rethinking Generalization in Reasoning SFT: A Conditional Analysis on Optimization, Data, and Model Capability [64.97610656176981]
  LLMポストトレーニングでは、教師付き微調整(SFT)が記憶し、強化学習(RL)が一般化される。 我々は、長いチェーン・オブ・シークレット(CoT)の監督でSFTを推論するこの主張を再考し、クロスドメインの一般化は欠落ではなく条件付きであることを見出した。
  論文  参考訳（メタデータ） (2026-04-08T03:11:16Z)
• Error-Free Linear Attention is a Free Lunch: Exact Solution from Continuous-Time Dynamics [41.656176667732616]
  数値的に安定な完全並列性とデルタ則の一般化された定式化であるEFLA(Error-Free Linear Attention)を導入する。 我々の研究は、高忠実でスケーラブルな線形時間アテンションモデルを構築するための新しい理論基盤を提供する。
  論文  参考訳（メタデータ） (2025-12-14T08:51:02Z)
• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Online Clustering of Bandits with Misspecified User Models [42.56440072468658]
  コンテキスト線形バンディット(Contextual linear bandit)は、与えられた腕の特徴を学習エージェントが各ラウンドで選択し、長期の累積報酬を最大化するオンライン学習問題である。 バンディットのクラスタリング(CB)と呼ばれる一連の研究は、ユーザの好みに対する協調効果を利用しており、古典的な線形バンディットアルゴリズムよりも大幅に改善されている。 本稿では,不特定ユーザモデル (CBMUM) による盗賊のクラスタリングに関する重要な問題を初めて提示する。 モデル誤特定による不正確なユーザの選好推定と誤クラスタリングを両立できる頑健なCBアルゴリズムRCLUMBとRCLUMBを考案した。
  論文  参考訳（メタデータ） (2023-10-04T10:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。