論文の概要: Interpretable Tabular Foundation Models via In-Context Kernel Regression

• arxiv url: http://arxiv.org/abs/2602.02162v1
• Date: Mon, 02 Feb 2026 14:37:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.215782
• Title: Interpretable Tabular Foundation Models via In-Context Kernel Regression
• Title（参考訳）: In-Context Kernel Regressionによる解釈可能なタブラリ基礎モデル
• Authors: Ratmir Miftachov, Bruno Charron, Simon Valentin,
• Abstract要約: KernelICLは、定量化されたサンプルベースの解釈可能性を備えた表層基盤モデルを強化するためのフレームワークである。 すべての予測がトレーニングラベルの透過的な重み付け平均となるように、カーネルレグレッションに似たコンテキスト内学習を行う。 55 TALENTベンチマークデータセットでは、KernelICLは既存の表形式の基盤モデルと同等のパフォーマンスを達成している。
• 参考スコア（独自算出の注目度）: 0.9285295512807727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular foundation models like TabPFN and TabICL achieve state-of-the-art performance through in-context learning, yet their architectures remain fundamentally opaque. We introduce KernelICL, a framework to enhance tabular foundation models with quantifiable sample-based interpretability. Building on the insight that in-context learning is akin to kernel regression, we make this mechanism explicit by replacing the final prediction layer with kernel functions (Gaussian, dot-product, kNN) so that every prediction is a transparent weighted average of training labels. We introduce a two-dimensional taxonomy that formally unifies standard kernel methods, modern neighbor-based approaches, and attention mechanisms under a single framework, and quantify inspectability via the perplexity of the weight distribution over training samples. On 55 TALENT benchmark datasets, KernelICL achieves performance on par with existing tabular foundation models, demonstrating that explicit kernel constraints on the final layer enable inspectable predictions without sacrificing performance.
• Abstract（参考訳）: TabPFNやTabICLのようなタブラル基礎モデルは、文脈内学習を通じて最先端のパフォーマンスを達成するが、そのアーキテクチャは基本的に不透明である。 KernelICLは,定量的なサンプルベースの解釈可能性を備えた表層基盤モデルを構築するためのフレームワークである。 In-context learning is alike to kernel regression(カーネル回帰)という知見に基づいて、最終的な予測層をカーネル関数(ガウス語、ドット積、kNN)に置き換え、全ての予測がトレーニングラベルの透過的な重み付け平均となるようにすることで、このメカニズムを明確化する。 本稿では, 標準カーネル法, 現代の近隣アプローチ, 注意機構を単一の枠組みで正式に統一する2次元分類法を導入し, トレーニングサンプルの重み分布の複雑度による検査可能性の定量化を行う。 55 TALENTベンチマークデータセットでは、KernelICLが既存の表形式の基盤モデルと同等のパフォーマンスを実現し、最終層の明示的なカーネル制約により、パフォーマンスを犠牲にすることなく、検査可能な予測が可能になることを実証している。

関連論文リスト

• Interpretable Kernel Representation Learning at Scale: A Unified Framework Utilizing Nyström Approximation [6.209111342262837]
  我々は、Nystrによるカーネルベースの表現学習のための統一フレームワークであるKREPESを紹介する。 KREPESは、広範囲の非監督的かつ自己監督的な損失に対応している。 これは学習した表現の原則的解釈可能性を可能にし、深層モデルよりもすぐれた利益をもたらす。
  論文  参考訳（メタデータ） (2025-09-29T08:45:40Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• Bayesian Exploration of Pre-trained Models for Low-shot Image Classification [14.211305168954594]
  本研究はガウス過程に基づくシンプルで効果的な確率的モデルアンサンブルフレームワークを提案する。 平均関数をCLIPとカーネル関数で指定することで,事前知識の統合を実現する。 提案手法は,予測性能に関する競争アンサンブルベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-03-30T10:25:28Z)
• Unifying Self-Supervised Clustering and Energy-Based Models [9.3176264568834]
  自己教師付き学習と生成モデルとの間には,原則的な関連性を確立する。 シンボル接地問題の単純かつ非自明なインスタンス化に対処するために,我々の解法をニューロシンボリックな枠組みに統合できることが示される。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation [71.76008290101214]
  DistillFlowは光の流れを学ぶための知識蒸留手法である。 KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。 我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-06-08T09:13:34Z)
• Coresets via Bilevel Optimization for Continual Learning and Streaming [86.67190358712064]
  濃度制約付き二レベル最適化による新しいコアセット構成を提案する。 我々のフレームワークがディープニューラルネットワークのコアセットを効率的に生成できることを示し、連続学習やストリーミング設定における経験的メリットを示す。
  論文  参考訳（メタデータ） (2020-06-06T14:20:25Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。