論文の概要: TAFFY: A Task-Adaptive Tabular Foundation Model with In-Context Diversity

• arxiv url: http://arxiv.org/abs/2610.07559v1
• Date: Tue, 06 Oct 2026 00:46:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.726983
• Title: TAFFY: A Task-Adaptive Tabular Foundation Model with In-Context Diversity
• Title（参考訳）: TAFFY: タスク適応型タブラリファウンデーションモデル
• Abstract要約: In-Context Diversity PriorとTask-Conditioned Looped Transformerを備えた基礎モデルであるTAFFYを紹介する。 TAFFYは6つの分類と5つの回帰ベンチマークデータセットで最下位のランクに達する。
• 参考スコア（独自算出の注目度）: 56.631423921258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in tabular foundation models suggests that training on synthetic tasks can substantially improve in-context learning capabilities, with overall performance largely depending on how well models can infer task-specific predictive relationships from the available context during inference. In this paper, we introduce TAFFY, a tabular foundation model with an In-Context Diversity Prior and a Task-Conditioned Looped Transformer that strengthen this ability. Specifically, to construct each synthetic pretraining context, the In-Context Diversity Prior samples from multiple related environments derived via controlled interventions and distribution shifts on a shared causal process. This in-context diversity encourages the model to learn a more comprehensive and task-specific representation. Moreover, the Task-Conditioned Looped Transformer iteratively and selectively applies a shared group of Transformer blocks to refine contextual representations, with a task-conditioned gate modulating the final hidden-state update. This enables task-adaptive iterative refinement. Together, these components encourage the model to identify predictive relationships from contextual contrasts during pretraining and dynamically modulate context integration for each task. Across six classification and five regression benchmark datasets, TAFFY attains the lowest average rank.
• Abstract（参考訳）: 表形式の基礎モデルの最近の進歩は、合成タスクのトレーニングがコンテキスト内学習能力を大幅に向上させることができることを示唆しており、全体的な性能は、モデルが利用可能なコンテキストからタスク固有の予測関係をいかに推測できるかに大きく依存している。 本稿では,TAFFY,In-Context Diversity PriorとTask-Conditioned Looped Transformerを用いた表層基礎モデルを紹介する。 具体的には、各合成事前学習コンテキストを構築するために、制御された介入と共有因果プロセス上の分布シフトによって導出される複数の関連環境からのIn-Context Diversity Priorサンプルを作成した。 このコンテキスト内多様性は、モデルがより包括的でタスク固有の表現を学ぶことを奨励する。 さらに、タスクコンディション付きループ型トランスフォーマーは、最後の隠れ状態更新を調整したタスク条件付きゲートを用いて、コンテキスト表現を洗練するために、共有されたトランスフォーマーブロック群を反復的に選択的に適用する。 これにより、タスク適応的な反復的な洗練が可能になる。 これらのコンポーネントは、事前トレーニング中にコンテキストコントラストから予測関係を識別し、各タスクに対するコンテキスト統合を動的に変調する。 6つの分類と5つの回帰ベンチマークデータセットで、TAFFYは最も低い平均ランクに達した。

関連論文リスト

• Task-Conditional Flow Matching for Balanced Multilingual Text Embedding Adaptation [0.6980863185266349]
  Task-Conditional Flow Matchingは多言語埋め込み適応フレームワークである。 翻訳タスクにフローマッチングを適用し、検索、分類、ペア分類タスクを最適化する。 Indic Massive Text Embedding Benchmarkによる評価
  論文  参考訳（メタデータ） (2026-08-06T09:19:16Z)
• A Foundation Model for Instruction-Conditioned In-Context Time Series Tasks [0.7677431882779153]
  In-context Learning (ICL) では、モデルをパラメータを更新するのではなく、例に条件付けすることで推論時に適応させることができる。 本稿では,量子レグレッションT5エンコーダを用いた命令条件付き時系列タスクの基礎モデルを提案する。
  論文  参考訳（メタデータ） (2026-03-23T21:24:41Z)
• Variational Task Vector Composition [53.476598858325985]
  本稿では,構成係数を潜在変数とみなし,ベイズ推定フレームワークで推定する変動タスクベクトル合成を提案する。 タスクベクトルにおける構造的冗長性の観測に動機付けられ,空間性を促進するスパイク・アンド・スラブ前処理を導入する。 本研究では, 構成係数を不確実性と重要度の両方に基づいてフィルタすることにより, 制御可能な後部構造を構築するゲートサンプリング機構を開発した。
  論文  参考訳（メタデータ） (2025-09-21T02:46:02Z)
• Dynamic Perturbed Adaptive Method for Infinite Task-Conflicting Time Series [0.0]
  時系列タスクを、異なる目的の入力出力マッピングとして定式化し、同じ入力が異なる出力を生成する。 そこで本研究では,頻繁なタスクシフトの下で適応性を評価するために,多数の相反するサブタスクを持つ合成データセットを構築した。 本研究では,トランク・ブランチアーキテクチャに基づく動的摂動適応手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T08:33:57Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer [71.82644727907146]
  多様な双方向の高密度予測タスクに対して,$underlineComP$lementary $underlinetr$ansformer, $textbfComPtr$を提案する。 ComPtrは異なる入力を等しく扱い、変換器上にシーケンス・ツー・シーケンスの形で効率的な密な相互作用モデルを構築する。
  論文  参考訳（メタデータ） (2023-07-23T15:17:45Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• OCEAN: Online Task Inference for Compositional Tasks with Context Adaptation [150.1979017130774]
  構成タスクに対するオンラインタスク推論を行うための変分推論フレームワークを提案する。 本フレームワークは,タスク構造に関する事前の知識に基づいて,柔軟な潜伏分布をサポートし,教師なしで訓練することができる。
  論文  参考訳（メタデータ） (2020-08-17T04:50:34Z)
• Modelling Latent Skills for Multitask Language Generation [15.126163032403811]
  マルチタスク条件言語生成のための生成モデルを提案する。 我々の指導的仮説は、共通の潜在スキルの集合が、多くの異なる言語生成タスクの根底にあるというものである。 このタスク埋め込み空間を潜在変数列列列モデルにおける潜在変数としてインスタンス化する。
  論文  参考訳（メタデータ） (2020-02-21T20:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。