論文の概要: A Mechanistic Study of Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2605.21288v1
• Date: Wed, 20 May 2026 15:23:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.747862
• Title: A Mechanistic Study of Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルの力学的研究
• Authors: Marin Biloš, James T. Wilson, Anderson Schneider, Yuriy Nevmyvaka,
• Abstract要約: タブラル基礎モデルは、様々な分類タスクと回帰タスクに精度で収束する。 これは、リーダーボードが答えられない疑問を引き起こす。 i)モデルが同一のコンテキスト内アルゴリズムを実行するかどうか,(ii)行,列,およびクラス置換不変性が生じるか,および(iii)モデルが推論されたメカニズムに対してエンジニアリングされた摂動下にあるか,の3つを特徴付ける。
• 参考スコア（独自算出の注目度）: 12.26738662548555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models with different architectures converge in accuracy across a range of classification and regression tasks. This raises questions a leaderboard cannot answer: (i) whether the models execute the same in-context algorithm, (ii) where row, column, and class-permutation invariances originate, and (iii) how robust they are under perturbations engineered against the inferred mechanism. We characterize all three. The model families realize qualitatively distinct similarity-based readouts: from an attention-weighted vote over context labels to a class-conditional mean readout, each confirmed by causal intervention. We find that the representation collapse highlighted in prior work is not a practical concern for them. Each model's permutation invariances trace to specific positional parameters whose removal preserves accuracy and makes approximate invariance exact. Perturbations engineered against each readout reproduce predicted failure modes; hub and rank attacks isolate them from refit baselines. Together these results give a mechanistic account of contemporary tabular foundation models and identify which inductive biases govern both their accuracy and characteristic failures.
• Abstract（参考訳）: 異なるアーキテクチャを持つタブラル基礎モデルは、様々な分類タスクと回帰タスクに精度で収束する。 これは、リーダーボードが答えられない疑問を提起する。 (i)モデルが同じコンテキスト内アルゴリズムを実行するか否か。 二 列、列及び類置換不変が発するところ、及び 三 推測されたメカニズムに逆らって、いかに頑丈か。 私たちは三つ全てを特徴づける。 モデルファミリーは、コンテキストラベルに対する注目度の高い投票から、それぞれ因果的介入によって確認されたクラス条件の平均読み出しまで、質的に異なる類似性に基づく読み出しを実現する。 先行作業で強調された表現の崩壊は、彼らにとって現実的な懸念ではないことが分かっています。 各モデルの置換不変性は、除去が精度を保ち、近似不変性を正確にする特定の位置パラメータに遡る。 各リードアウトに対してエンジニアリングされた摂動は、予測された障害モードを再現する。 これらの結果は、現代の表層基礎モデルの力学的な説明を与え、どの帰納的バイアスがそれらの正確さと特徴的失敗の両方を左右するかを識別する。

関連論文リスト

• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• Hypothesis Class Determines Explanation: Why Accurate Models Disagree on Feature Attribution [0.0]
  同一の予測行動を持つモデルでは,特徴属性が著しく異なることが判明した。 我々は,この現象の構造的要因として仮説クラスを同定し,これを説明ロタリーと呼ぶ。 実験の結果,モデル選択は説明中立ではないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-16T18:55:50Z)
• Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
  敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。 我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。 検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
  論文  参考訳（メタデータ） (2024-11-21T17:46:55Z)
• Attuned to Change: Causal Fine-Tuning under Latent-Confounded Shifts [32.989526411946606]
  遅れた構築されたシフトに適応することは、現代AIにおける中核的な課題である。 1つの実用的障害モードは、構築されたデータに基づいて訓練済みの基礎モデルを微調整するときに発生する。 我々は、因果微調整を識別問題として捉え、入力を低レベルなスプリアス特徴に分解する明示的な因果モデルを示す。
  論文  参考訳（メタデータ） (2024-10-18T11:06:23Z)
• From Bricks to Bridges: Product of Invariances to Enhance Latent Space Communication [19.336940758147442]
  異なるニューラルネットワークによって学習された表現は、モデルが同様の誘導バイアスの下で訓練されたときに構造的類似性を隠蔽することが観察されている。 我々は,不変成分の積空間を潜在表現の上に構築し,その表現に不変量の集合を直接組み込む汎用的手法を導入する。 我々は,ゼロショット縫合設定において,一貫した遅延類似性および下流性能向上を観察し,分類および再構成タスクに対するソリューションの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-02T13:55:38Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
  確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。 我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。 まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2020-08-19T16:04:34Z)
• Reachable Sets of Classifiers and Regression Models: (Non-)Robustness Analysis and Robust Training [1.0878040851638]
  分類器と回帰モデルの両方の頑健性特性を解析・拡張する。 具体的には、(非)難易度を検証し、堅牢なトレーニング手順を提案し、我々のアプローチが敵攻撃よりも優れていることを示す。 第2に、ラベル付けされていない入力に対する信頼できない予測と信頼できない予測を区別し、各特徴が予測に与える影響を定量化し、特徴ランキングを計算する技術を提供する。
  論文  参考訳（メタデータ） (2020-07-28T10:58:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。