論文の概要: Closing the Context Gap: Activation Alignment for Tabular In-Context Learning

• arxiv url: http://arxiv.org/abs/2610.06679v1
• Date: Mon, 05 Oct 2026 16:48:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 23:44:44.35821
• Title: Closing the Context Gap: Activation Alignment for Tabular In-Context Learning
• Title（参考訳）: コンテキストギャップの閉鎖: 語彙内学習のためのアクティベーションアライメント
• Abstract要約: タブラル基礎モデルは、コンテキストとして提供されるラベル付きトレーニング例の予測を条件付けすることで、文脈内学習(ICL)を行う。 本稿では,アクティベーションアライメント(アクティベーションアライメント)を提案する。
• 参考スコア（独自算出の注目度）: 0.003596046562524959
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models perform in-context learning (ICL) by conditioning predictions on labeled training examples provided as context. Unlike traditional models that separate training from inference, these models must process all training examples in every forward pass, making each prediction expensive. Restricting the number of training examples reduces this cost but substantially degrades performance. Instead of discarding context, we propose activation alignment, a method that leverages the full context to teach a model how to behave when seeing only a subset. This is achieved by training a lightweight linear transformation on synthetic unlabeled data to map the intermediate activations of a data-constrained "student" (using partial context) toward those of a full-context "teacher" (using all data). Training the aligner requires no GPU and converges in seconds to minutes on commodity hardware. We evaluate on 38 classification datasets from the TabArena benchmark using the leading two tabular foundation models, TabPFN-3 and TabFM. Across all context budgets, the aligned student yields broad, statistically significant improvements over the unaligned baseline for both models. In low-data regimes, alignment recovers nearly half of the teacher's predictive advantage. The method provides a practical, low-overhead approach to achieving the inference speed of compact contexts while closing a significant fraction of the performance gap to the full-context teacher.
• Abstract（参考訳）: タブラル基礎モデルは、コンテキストとして提供されるラベル付きトレーニング例の予測を条件付けすることで、文脈内学習(ICL)を行う。 推論からトレーニングを分離する従来のモデルとは異なり、これらのモデルはすべてのフォワードパスでトレーニングの例を処理しなければなりません。 トレーニングサンプルの数を制限することで、このコストは削減されるが、パフォーマンスは大幅に低下する。 コンテキストを捨てる代わりに、アクティベーションアライメント(アクティベーションアライメント)を提案します。 これは、データ制約付き「学生」の中間的活性化(部分的コンテキストを使用)を、全コンテキストの「教師」(全データを使用する)にマッピングするために、合成未ラベルデータに軽量な線形変換をトレーニングすることで達成される。 調整器のトレーニングにはGPUを必要とせず、コモディティハードウェアに数秒から数分で収束する。 本研究では,TabPFN-3とTabFMの2つの基礎モデルを用いて,TabArenaベンチマークから38の分類データセットを評価する。 すべての文脈予算の中で、同級生は両モデルの非整合ベースラインよりも広く統計的に有意な改善を得られる。 低データ体制では、アライメントは教師の予測上の利点のほぼ半分を回復させる。 本手法は,実運用で低オーバヘッド方式で,実環境教師に性能ギャップのかなりの部分を埋めながら,コンパクトな文脈の推論速度を実現する。

関連論文リスト

• TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention [47.480923979431886]
  タブラル基礎モデルは、ラベル付きトレーニング例から直接テストラベルを推測して、コンテキスト内学習を通じて予測を行う。 最近のモデルでは、ますます複雑なアーキテクチャによって精度が向上し、推論コストが高くなり、実用的なデプロイメントが制限されることが多い。 ライトウェイトな行ワイドアテンションのみのバックボーンは、2つの単純な拡張と高い競争力を維持することができることを示す。
  論文  参考訳（メタデータ） (2026-06-05T14:55:30Z)
• Bagging-Based Model Merging for Robust General Text Embeddings [73.51674133699196]
  汎用テキスト埋め込みモデルは、幅広いNLPおよび情報検索アプリケーションを支える。 本稿では,データスケジューリングとモデルマージという2つの観点から,テキスト埋め込みのためのマルチタスク学習の体系的研究を行う。 本稿では,Baging ベースの rObust mOdel Merging (BOOM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T15:45:08Z)
• OmniBal: Towards Fast Instruction-Tuning for Vision-Language Models via Omniverse Computation Balance [67.37017498784748]
  視覚言語命令チューニングモデルにおける大規模3D並列トレーニングは、異なるデバイス間で不均衡な計算負荷をもたらす。 我々は、データ、モデル、メモリの観点から計算負荷を再均衡させ、デバイス間でよりバランスのとれた計算を実現する。 提案手法の有効性と一般化性は,様々なモデルやデータセットにまたがってさらに検証される。
  論文  参考訳（メタデータ） (2024-07-30T12:02:58Z)
• PTab: Using the Pre-trained Language Model for Modeling Tabular Data [5.791972449406902]
  近年の研究では、ニューラルネットワークモデルがタブラルデータの文脈表現の学習に有効であることが示されている。 本稿では,事前学習言語モデルを用いて,タブラルデータをモデル化する新しいフレームワークPTabを提案する。 提案手法は,最先端のベースラインに比べて,教師付き設定における平均AUCスコアが向上した。
  論文  参考訳（メタデータ） (2022-09-15T08:58:42Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Beyond Fine-tuning: Few-Sample Sentence Embedding Transfer [23.64984600607274]
  小データセットに事前訓練された文埋め込みモデルに制限があることが示されている。 対象データにのみ訓練された単純な文埋め込みモデルと事前学習されたモデルとの埋め込みを結合させることにより,FTの性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-04-10T16:57:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。