論文の概要: TabPFN beyond Tabular Data: Calibration and Accuracy on Multimodal Embeddings

• arxiv url: http://arxiv.org/abs/2607.11007v1
• Date: Mon, 13 Jul 2026 02:11:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.301424
• Title: TabPFN beyond Tabular Data: Calibration and Accuracy on Multimodal Embeddings
• Title（参考訳）: タブラルデータを超えたTabPFN:マルチモーダル埋め込みの校正と精度
• Abstract要約: 我々はTabPFNを,凍結画像,テキスト,オーディオエンコーダのためのプラグアンドプレイ,ゼログレートな分類ヘッドとして評価する。 TabPFNは14のデータセット、11のエンコーダ、3つのモダリティにまたがる22,820回の評価エピソードにおいて、負の対数類似度(NLL)と期待の校正誤差(ECE)の双方において、9つの分類長の中で最高の平均ランクを達成している。 その精度の利点は条件付きであり、中程度から高いショット数と低からモデレートの特徴次元に集中している。
• 参考スコア（独自算出の注目度）: 2.4483752182160954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot multimodal classification commonly attaches a lightweight head, such as $k$-nearest neighbors, logistic regression, or a linear SVM, to a frozen pretrained encoder. Although computationally efficient, these heads can produce poorly calibrated confidence scores, limiting their reliability in calibration-sensitive applications. We evaluate TabPFN as a plug-and-play, zero-gradient classification head for frozen image, text, and audio encoders. Across 22{,}820 evaluation episodes spanning 14 datasets, 11 encoders, and three modalities, TabPFN achieves the best mean rank among nine classification heads on both negative log-likelihood (NLL) and expected calibration error (ECE). At a representative setting, it reduces NLL by 48--62\% and ECE by 2.1--5.3$\times$ relative to the average of the eight baselines while matching or exceeding their average accuracy. Its accuracy advantage is conditional, concentrating at moderate-to-high shot counts and low-to-moderate feature dimensions ($k \ge 50$, $d \le 32$), and diminishing when labeled data are scarce, feature dimensions are high, or competing methods approach ceiling accuracy. In targeted backbone-adaptation experiments, replacing the trained linear head with TabPFN substantially improves calibration while preserving competitive accuracy. These results provide empirical guidance for using TabPFN as a training-free head in calibration-sensitive multimodal classification. To support transparency and reproducibility, we publicly release the source code, experiment configurations, and evaluation scripts in our GitHub repository: https://github.com/Jingxiang-Zhang/tabpfn-multimodal-embeddings.
• Abstract（参考訳）: k$-nearest neighborsやロジスティック回帰、線形SVMといった軽量ヘッドを凍結事前訓練エンコーダにアタッチすることが一般的である。 計算効率は高いが、これらのヘッドは、キャリブレーションに敏感なアプリケーションにおける信頼性を制限し、キャリブレーションの低い信頼性スコアを生成することができる。 我々はTabPFNを,凍結画像,テキスト,オーディオエンコーダのためのプラグアンドプレイ,ゼログレートな分類ヘッドとして評価する。 22{,}820個の評価エピソードのうち、14個のデータセット、11個のエンコーダ、および3つのモードにまたがる評価エピソードにおいて、TabPFNは、負のログ類似度(NLL)と期待キャリブレーション誤差(ECE)の両方の9つの分類ヘッドの中で、最高の平均ランクを達成している。 代表設定では、NLLを48--62\%、ECEを2.1--5.3$\times$に減らし、平均精度をマッチングまたは超える。 その精度の利点は条件付きであり、中程度から高いショット数と低からモデレートの特徴次元(k \ge 50$, $d \le 32$)に集中し、ラベル付きデータが不足している場合、特徴次元が高い場合、競合する手法が天井の精度に近づく。 標的となるバックボーン適応実験では、訓練されたリニアヘッドをTabPFNに置き換えることで、精度を保ちながらキャリブレーションを大幅に改善する。 これらの結果は,キャリブレーションに敏感なマルチモーダル分類において,TabPFNを訓練用ヘッドとして使用するための経験的ガイダンスを提供する。 透明性と再現性をサポートするため、GitHubリポジトリでソースコード、設定の実験、評価スクリプトを公開しています。

関連論文リスト

• Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
  厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。 我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。 Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
  論文  参考訳（メタデータ） (2026-09-01T05:52:38Z)
• Invertible Logits Transformation for Accuracy-Preserving Post-Hoc Uncertainty Calibration [10.333478793903724]
  理想的な校正器は、非線形の誤校正を補正し、大きなラベル空間に優雅にスケールし、元の予測を保存する必要がある。 InvLTは、標準キャリブレーション基準の幅広いポストホックベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-08-11T02:08:05Z)
• Accurate and Resource-Efficient Federated Continual Learning [3.983545455427237]
  フェデレートされた連続学習(FCL)は、限られたリソースの下で分散タスクストリームから学ぶ必要がある。 我々は、勾配に基づく更新をコンパクトなランダムな特徴統計に置き換えるリソース対応分析FCLフレームワークであるFedRANを提案する。 FedRANは最強のベースラインに対して平均精度を最大4.8ポイント改善し、最適化ベースのFCLよりも30.6-121.8$times$のクライアント間通信を使用でき、勾配ベースのベースラインよりも平均190.3$times$高速である。
  論文  参考訳（メタデータ） (2026-06-09T22:14:16Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Lightweight Vulnerability Detection from Code Metrics and Token Features [0.0]
  このプリプリントは、生の関数テキストからのスパーストークンn-gramと安価なコードメトリクスの小さなセットを組み合わせた軽量な関数レベルの脆弱性トリアージパイプラインについて研究する。 以上の結果から, 単純トークンとメートル法の特徴は, 透過的ベースラインとして有用であるが, 表面の語彙的手がかりに敏感であり, クロスプロジェクト移動が限定的であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-05T19:51:46Z)
• Online Reasoning Calibration: Test-Time Training Enables Generalizable Conformal LLM Reasoning [18.69627681731888]
  オンライン推論校正(英語: Online Reasoning calibration、ORCA)は、整合予測とテストタイムトレーニングに基づいてサンプリングプロセスを校正するフレームワークである。 リスクレベルの$=0.1$で、ORCAはQwen2.5-32B効率を改善し、47.5%、監督ラベル40.7%、自己整合ラベル40.7%を節約する。
  論文  参考訳（メタデータ） (2026-04-01T17:21:50Z)
• Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
  我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。 多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-08T13:08:45Z)
• How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks [1.4502611532302039]
  我々は,ロジットの単純な$p$-norm正規化を行い,次に最大ロジットを信頼度推定器とすることで,選択的分類性能が著しく向上することを示した。 我々の結果は、分布シフトの下で一貫していることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T18:56:55Z)
• Accurate and Reliable Methods for 5G UAV Jamming Identification With Calibrated Uncertainty [3.4208659698673127]
  不確実性を考慮せずに精度を上げるだけで、Deep Neural Network(DNN)の意思決定に悪影響を及ぼす可能性がある。 本稿では,時系列二項分類問題に対する前処理と後処理の5つの組み合わせを提案する。
  論文  参考訳（メタデータ） (2022-11-05T15:04:45Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)
• Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations [154.51144248210338]
  Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。 BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
  論文  参考訳（メタデータ） (2020-03-27T05:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。