論文の概要: Two Is Enough: Binary Classification Priors Suffice for Multi-Class In-Context Tabular Prediction

• arxiv url: http://arxiv.org/abs/2610.27569v1
• Date: Tue, 20 Oct 2026 03:34:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.617433
• Title: Two Is Enough: Binary Classification Priors Suffice for Multi-Class In-Context Tabular Prediction
• Title（参考訳）: 二項分類は多段階の文脈内単語予測に十分である
• Abstract要約: タブラル基礎モデル(TFMs)は、1つの前方通過がゼロショット予測をもたらすように、大規模合成前の変圧器を事前訓練する。 この上限を直接2つに設定し、事前訓練された各分類タスクバイナリは、ゼロショットKウェイ分類2を実行する重みを出力する。 60の現実世界の信用評価機関における生産規模検証は、その方向性を独立して確認する。
• 参考スコア（独自算出の注目度）: 3.6528091742869075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular foundation models (TFMs) pretrain a transformer on large-scale synthetic priors so that a single forward pass yields zero-shot tabular prediction. TabICLv2 samples the class count of its classification prior during pretraining, and the prevailing configuration caps it at ten. We report a counter-intuitive result: setting this cap directly to two---making every pretrained classification task binary---still yields weights that perform zero-shot K-way classification 2. On the 38 TabArena classification datasets (200 bootstrap rounds, anchored at default RF = 1000), the binary two-stage recipe reaches 1590.1 Elo, above the official default at 1568.0 (+22.1), above TabPFN-v2.6 (1577.1) and RealTabPFN-v2.5 (1521.6). A production-scale validation on 60 real-world credit-scoring institutions independently confirms the direction: the same checkpoint improves test AUC on 44 of 60 institutions (paired Wilcoxon p = 0.0007 for AUC, p = 0.0002 for KS) at +1.5 inference cost. Mechanistically, classification in TabICLv2 is carried not by a fixed-cardinality output head but by an in-context comparison operator matching query-row embeddings against class-conditional embeddings, so the cardinality of the output space is set by the labels present in the context, not by the label space seen during pretraining. This makes a binary prior structurally cheaper to generate and cache than a ten-class prior, demotes "number of classes" from an architectural constraint to a tunable hyperparameter, and points to a class-count-agnostic regime of TFM pretraining.
• Abstract（参考訳）: タブラル基礎モデル(TFM)は、1つの前方通過がゼロショットタブラ予測をもたらすように、大規模な合成先行でトランスフォーマーを事前訓練する。 TabICLv2は、事前トレーニング中にその分類のクラスカウントをサンプリングし、一般的な設定では10に制限する。 この上限を直接2つに設定し、事前訓練された全ての分類タスクを2つに分割する。 38個のTabArena分類データセット(デフォルトのRF = 1000に固定された200回のブートストラップラウンド)では、2段階のレシピは1590.1エロに達し、公式のデフォルトは1568.0 (+22.1)、TabPFN-v2.6 (1577.1)、RealTabPFN-v2.5 (1521.6)である。 同じチェックポイントが60の機関(AUCではウィルコクソンp = 0.0007、KSではp = 0.0002)の44のAUCテストを改善する。 メカニカルには、TabICLv2の分類は、固定値出力ヘッドではなく、クラス条件埋め込みに対するクエリ-ロー埋め込みにマッチするコンテキスト内比較演算子によって行われるので、出力空間の濃度は、事前訓練中に見られるラベル空間ではなく、文脈に存在するラベルによって設定される。 これにより、バイナリは10クラスの事前よりも構造的に安価に生成およびキャッシュでき、アーキテクチャ上の制約からチューニング可能なハイパーパラメータに"クラスの数"を分解し、TFM事前トレーニングのクラス数に依存しない状態を指し示します。

関連論文リスト

• Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers [8.930854893959594]
  本研究では,60 LLMタスクカテゴリーの定型分類のための学生指導型蒸留パイプラインについて検討した。 コンパクトなModernBERT分類器は、1つのフォワードパスにおける全カテゴリ分布を予測し、小さなトップk候補セットを検索する。 より大きなDeBERTa-v3ゼロショットのNLI分類器は、60ラベルすべてではなく、これらの候補のみをリランクする。
  論文  参考訳（メタデータ） (2026-10-01T21:38:11Z)
• UO-FIE: Combining Exact-Label Supervision with Graded Utility for Factivity Inference [0.0]
  アクティビティ推論評価2026(FIE2026)は、中国の文脈と仮説のペアを9つの順序の事実区間に分類する。 UO-FIE(Utility-Oriented F Activity Inference)は、正確なラベル管理とグレードユーティリティを組み合わせたパラメータ効率の高いシステムである。
  論文  参考訳（メタデータ） (2026-09-23T16:24:57Z)
• RocketPFN: Accurate Time Series Classification via In-Context Learning [4.700908434131285]
  本稿では,ランダムな畳み込み特徴抽出とテキスト内分類を組み合わせた時系列分類のためのトレーニングフリーパイプラインであるRocketPFNを紹介する。 92のUCRデータセットでは、RocketPFNは、平均精度(0.900、Wilcoxon p=0.50)でアーカイブ上で最強の公表されたHC2と一致し、目標データに対するトレーニングは行わず、1フォールドあたり30秒の中央値推論時間である。
  論文  参考訳（メタデータ） (2026-06-19T22:27:34Z)
• TypedCSIP: Typed Counterfactual Pretraining for Chinese Legislative Conflict Classification [3.5137191090796054]
  TypedCSIPはLCR-CNベンチマークのコンフリクト分類タスクの型付き対実事前学習手法である。 我々は、LCR-CNの専門家による最小限の修正を、訓練時対実監督として活用する。
  論文  参考訳（メタデータ） (2026-05-25T06:26:46Z)
• Active In-Context Learning for Tabular Foundation Models [0.675253870287079]
  Tabular Active In-Context Learning (Tab-AICL) を形式化し、4つの取得ルールでインスタンス化する。 20の分類ベンチマークで、Tab-AICLは、トレーニングされた勾配ブースティングベースラインよりもコールドスタートサンプル効率を改善する。
  論文  参考訳（メタデータ） (2026-03-28T19:37:13Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Prediction Calibration for Generalized Few-shot Semantic Segmentation [101.69940565204816]
  汎用Few-shot Semantic (GFSS) は、各画像ピクセルを、豊富なトレーニング例を持つベースクラスか、クラスごとにわずかに(例: 1-5)のトレーニングイメージを持つ新しいクラスのいずれかに分割することを目的としている。 我々は、融合したマルチレベル機能を用いて、分類器の最終予測をガイドするクロスアテンションモジュールを構築する。 私たちのPCNは、最先端の代替品よりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2022-10-15T13:30:12Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。