論文の概要: Thinking in Depth: Retrospective Inference for Tabular Foundation Models
- arxiv url: http://arxiv.org/abs/2610.10317v1
- Date: Wed, 07 Oct 2026 16:11:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.020561
- Title: Thinking in Depth: Retrospective Inference for Tabular Foundation Models
- Title（参考訳）: 深く考える: 語彙基礎モデルに対するふりかえり推論
- Abstract要約: 予測的精錬は深さにわたって非常に不均一であり、しばしば後続の層に集中している。
この不均一な改善は、中間表現がネットワーク全体でどのように構築され、再利用されるかを再考する動機となる。
レトロスペクティブ推論に基づくモデルであるRetroを紹介します。
- 参考スコア（独自算出の注目度）: 44.85749667428316
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Tabular foundation models (TFMs) are pretrained across diverse tabular tasks and make predictions on a new table at inference time using its labeled examples as context. Most recent TFMs perform such in-context prediction with stacked Transformer layers, repeatedly transforming how examples are represented and compared. By tracing individual queries through several strong TFMs, we find that predictive refinement is highly uneven across depth and is often concentrated in later layers. This uneven refinement motivates us to reconsider how intermediate representations are constructed and reused throughout the network. We introduce Retro, a tabular foundation model based on retrospective inference, where later stages can explicitly revisit and recombine intermediate information produced earlier in the network. Retro organizes this process around two complementary operations: which intermediate information to revisit, and how the resulting contextual update should be shaped for each query. Attention Residuals address the former by adaptively reweighting contributions from different depths, while query-conditioned Gated Attention addresses the latter by modulating the attention output element-wise across representation dimensions. Our analysis shows that Retro shifts predictive refinement earlier and more broadly across depth, with different stages revising different subsets of queries in a pattern suggestive of multi-view refinement. Across TabArena, TALENT, and RelArena, Retro ranks among the top three and lies on the Pareto frontier. These results indicate that directly reusing intermediate representations provides a practical way to better exploit depth in TFMs.
- Abstract（参考訳）: タブラル基礎モデル(TFM)は、様々な表のタスクで事前訓練され、ラベル付き例をコンテキストとして、推論時に新しいテーブル上で予測を行う。
最近のTFMは、スタック化されたTransformerレイヤでこのようなコンテキスト内予測を実行し、サンプルの表現や比較を繰り返す。
複数の強力なTFMを通して個々のクエリをトレースすることにより、予測の洗練は深さにわたって非常に不均一であり、しばしば後続の層に集中していることが分かる。
この不均一な改善は、中間表現がネットワーク全体でどのように構築され、再利用されるかを再考する動機となる。
本稿では,リフレクション推論に基づく表形式の基盤モデルであるRetroを紹介し,ネットワーク上で生成した中間情報を後段で明示的に再検討し,再結合することができる。
Retroはこのプロセスを2つの補完的な操作を中心に整理している。
アテンション残差は、異なる深さからのコントリビューションを適応的に再重み付けすることで前者に対処する一方、クエリ条件付きGated Attentionは、表現次元にわたってアテンション出力要素を様々に調整することで後者に対処する。
分析の結果、Retroはより早く、より広い範囲にわたって予測的洗練をシフトし、異なる段階のクエリのサブセットを多視点改善を示唆するパターンで修正することがわかった。
TabArena、TALENT、RelArenaと並んで、Retroはトップ3にランクインし、Paretoフロンティアに位置する。
これらの結果から, 中間表現を直接再利用することで, TFMの深度を効果的に活用できることが示唆された。
関連論文リスト
- Understanding the Surprising Generalization Properties of Tabular Foundation Models [39.6543292456356]
驚くほど強い転送は、単一の実際のテーブル上での自己粒度の事前学習から生じる可能性がある。
同じタスク中心の視点が、大規模にコーパスを設計するのに役立ちます。
論文 参考訳（メタデータ） (2026-08-18T16:11:08Z) - RecRec: Latent Interests Recursive Reasoning for Sequential Recommendation [52.23179023639867]
逐次リコメンデータシステムは、ユーザインタラクションをエンコードし、次の項目を予測するために、1つのフォワードパスに依存している。
シーケンシャルなレコメンデーションのための推論プロセスをどのように構成するかは、未解決の問題である。
既存のアプローチでは、推論と予測を単一の$d$次元の状態に分割し、推論の深さを制限する。
本稿ではRLフリーフレームワークRecRec(Recursive Reasoning for Recommendation)を提案する。
論文 参考訳（メタデータ） (2026-07-14T16:28:28Z) - MM-BizRAG: Rethinking Multimodal Retrieval-Augmented Generation for General Purpose Enterprise Q&A [13.040489131301081]
MM-BizRAGは文書構造認識スプリットを介して文書構造を積極的に抽出し、表現する。
MM-BizRAGは、最先端のビジョン中心のベースラインを最大32%上回っている。
論文 参考訳（メタデータ） (2026-06-02T21:31:47Z) - Latent Chain-of-Thought Improves Structured-Data Transformers [26.742304109602614]
本稿では,遅延連鎖と,構造データに対する深さとループの影響について検討する。
我々は、潜在チェーン・オブ・シントが構造化データに対するテスト時間計算のスケーリングに有用な軸であることを示している。
論文 参考訳（メタデータ） (2026-05-11T21:41:21Z) - Is One Layer Enough? Understanding Inference Dynamics in Tabular Foundation Models [2.8473361448579713]
本研究は,6種類のテクスチャ内テキスト学習モデルにおける階層的力学の大規模研究である。
以上の結果から,複数のモデルにまたがる奥行きの冗長性が示唆された。
本稿では,従来のモデルのパラメータの20%しか使用せず,同等の性能を実現した概念実証ループ単一層モデルを設計する。
論文 参考訳（メタデータ） (2026-05-07T16:22:04Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳（メタデータ） (2026-05-01T17:59:59Z) - Deep Tabular Representation Corrector [21.273567937548155]
タブラルデータは、医療、エンジニアリング、金融など、さまざまな現実世界の分野において、主に重要な役割を担っている。
本稿では, モデルに依存しない方法でパラメータを変更せずに, 訓練済みの深部表象モデルの表現を強化するための, 深部表象コーレクタである深部表象コーレクタを提案する。
論文 参考訳（メタデータ） (2026-03-17T14:26:51Z) - Retro-FPN: Retrospective Feature Pyramid Network for Point Cloud
Semantic Segmentation [65.78483246139888]
本稿では,各点特徴量の予測を明示的かつふりかえり的な精錬プロセスとしてモデル化するRetro-FPNを提案する。
その重要な斬新さは、前層から意味コンテキストを要約するレトロ・トランスフォーマーである。
Retro-FPNは最先端のバックボーンよりも性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-08-18T05:28:25Z) - Does Recommend-Revise Produce Reliable Annotations? An Analysis on
Missing Instances in DocRED [60.39125850987604]
テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。
より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
論文 参考訳（メタデータ） (2022-04-17T11:29:01Z) - Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。
本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。
複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
論文 参考訳（メタデータ） (2020-03-31T22:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。