論文の概要: What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates
- arxiv url: http://arxiv.org/abs/2609.27679v2
- Date: Fri, 25 Sep 2026 15:53:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.042998
- Title: What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates
- Title（参考訳）: Tabular Foundation Models Compute in Context? In-Situ Representation Refinement by Attention-Gated Updates (英語)
- Abstract要約: RefineICLは、注目度の高いFFNフリーコンテキストスタックで、選択された低ランクな特徴相互作用と型付きメモリを持つ。
ベンチマークインフォームされた継続は、38データセットのTabArenaスナップショットで1644.8 Eloに達し、TabPFN-3より31.4 Eloである。
- 参考スコア（独自算出の注目度）: 25.316091930922273
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A tabular foundation model must discover which distinctions matter for each new table without updating its parameters. We develop in-situ representation refinement: support labels guide changes to the episode's representations, improving the information available to later queries. A regularized leave-one-out objective yields a support correction and its query extension. The leading term separates attention-based reading from state-dependent scaling, motivating RefineICL: an attention-gated, FFN-free contextual stack with selected low-rank feature interaction and typed memory. A direct intervention tests the role of evolving support states: removing one intermediate support update while preserving the block's query output increases final query cross-entropy in all 72 tested episodes. RefineICL-L24 reaches 0.93836 OVR-AUC and 0.87173 accuracy on AMLB29. A benchmark-informed continuation reaches 1644.8 Elo on the 38-dataset TabArena snapshot, 31.4 Elo above TabPFN-3 under the same evaluation. It also improves all four reported metrics over TabPFN-v3 on both TabZilla views. In a matched 100K-update depth grid, an expanded FFN gives no consistent validation benefit and uses 60.2% more peak inference memory at L8. These results connect learning within a forward pass to representation refinement and show how this view guides a competitive, memory-efficient model.
- Abstract（参考訳）: 表形式の基礎モデルは、パラメータを更新することなく、新しいテーブルごとにどの区別が重要かを見つけなければなりません。
In-situ representation refinement: support labels guide to the episode's representations, improve the information available to later query。
正規化されたout-outの目的は、サポート修正とそのクエリ拡張をもたらす。
RefineICL: 低ランクな機能インタラクションと型付きメモリを選択した、注目に満ちたFFNのないコンテキストスタック。
ブロックのクエリ出力を保存しながら、1つの中間サポート更新を削除することで、72回のテストされたすべてのエピソードにおいて、最終的なクエリクロスエントロピーが増加する。
RefineICL-L24は、AMLB29上で0.93836 OVR-AUCと0.87173の精度に達する。
ベンチマークインフォームされた継続は、38データセットのTabArenaスナップショットで1644.8 Eloに達し、TabPFN-3より31.4 Eloである。
また、TabZillaビューのTabPFN-v3で報告された4つのメトリクスをすべて改善している。
一致した100K更新深度グリッドでは、拡張されたFFNは一貫したバリデーションの利点がなく、L8で60.2%以上のピーク推論メモリを使用する。
これらの結果は、フォワードパス内の学習と表現の洗練を結びつけ、このビューが競合的でメモリ効率のよいモデルをどのように導くかを示す。
関連論文リスト
- Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models [25.316091930922273]
Support-Compiled Feature Foldingは、トレーニング不要の推論フレームワークである。
二次的特徴-相互作用の作業は、有界な局所作用集合を持つ線形幅の作業に変換される。
評価された6つのバックボーンすべてにおいて、データセット-マクロ精度とNLLを改善する。
論文 参考訳（メタデータ） (2026-09-23T14:45:06Z) - From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing [50.70862449978062]
最近の文書では OmniDocBench v1.6 の 93 以上の TEDS スコアが達成されている。
このギャップを定量化するために、916の現実世界のテーブルの診断ベンチマークであるTableParseMapを紹介します。
論文 参考訳（メタデータ） (2026-08-10T16:59:30Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳（メタデータ） (2026-06-03T06:07:33Z) - Deterministic Event-Graph Substrates as World Models for Counterfactual Reasoning [0.0]
本研究では,エージェント状態を表す世界モデルのクラスを,タイプ付きRDFトリプルの付加オンリーログとして検討し,ログをフォークすることで対実クエリに応答する。
基板はトリプルレベルで検査可能で、正確なカウンターファクトをサポートし、学習済みのコンポーネントなしでドメイン間で転送できる。
論文 参考訳（メタデータ） (2026-05-15T13:58:31Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - SEER: Spectral Entropy Encoding of Roles for Context-Aware Attention-Based Design Pattern Detection [0.0]
本稿では,ソースコードからGang of Four(GoF)デザインパターンを検出するために,従来のContext Is All You Needのアップグレード版を提案する。
SEERはこれらの制限に、(i)各クラスの相互作用グラフのラプラシアンスペクトルからメンバーごとのロール埋め込みを導出するスペクトルエントロピーロールエンコーダ、(ii)メソッドカテゴリに経験的校正期間を割り当てる時間重呼出コンテキストの2つの原則で対処する。
PyDesignNet上のSEER(1,832ファイル、35,000のシーケンス、23のGoFパターン)を評価し、以前のシステムよりも一貫した利得を観察する。
論文 参考訳（メタデータ） (2026-01-19T19:13:40Z) - TiCard: Deployable EXPLAIN-only Residual Learning for Cardinality Estimation [0.5414847001704249]
TiCardは低侵襲で修正ベースのフレームワークで、データベースのネイティブな推定値を拡張する。
TPCHとJoin Order Benchmarkを備えたTiDBでは、TiCardはオペレータレベルのテール精度を大幅に改善する。
論文 参考訳（メタデータ） (2025-12-16T12:35:11Z) - ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。
そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。
新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
論文 参考訳（メタデータ） (2020-08-06T07:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。