論文の概要: The Standardization Trap: Certifying Joint Label Processing in Tabular Foundation Models
- arxiv url: http://arxiv.org/abs/2610.08314v1
- Date: Tue, 06 Oct 2026 13:18:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.002817
- Title: The Standardization Trap: Certifying Joint Label Processing in Tabular Foundation Models
- Title(参考訳): 標準化のトラップ: タブラル基礎モデルにおける共同ラベル処理の認定
- Abstract要約: 1つのコンテキストラベルを変更することで、他のラベルが予測にどのように影響するかが変わります。
さらに、共同処理がトレーニングとともに出現し、注意スコアが測定されたインタラクションの大部分を担っていることが分かりました。
- 参考スコア(独自算出の注目度): 1.585418692657445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linear regression and kernel smoothing offer tractable explanations of in-context learning: in both, the features determine the weight assigned to each context label. However, whether this fixed-weight account describes pretrained tabular foundation models (TFMs) remains unclear. Testing this account using derivatives runs into a standardization trap: public TFM packages standardize the labels before the model sees them, yet ordinary derivatives also reflect behavior outside the set of standardized labels, making a model appear nonlinear even when every prediction it makes agrees with a fixed-weight map. We propose two certificates that depend only on predictions at standardized labels and can reject two distinct explanations: fixed-weight prediction and sums of independent nonlinear label transformations. Across the five public TFMs that we evaluate, our certificates show that changing one context label alters how other labels influence the prediction, a behavior we call joint processing. We further find that joint processing emerges with training and that attention scores carry most of the measured interaction. Together, these findings motivate TFM explanations that account for how context labels change the influence of individual examples.
- Abstract(参考訳): 線形回帰とカーネルの平滑化は、コンテキスト内学習の難解な説明を提供する:両方の特徴は、それぞれのコンテキストラベルに割り当てられた重みを決定する。
しかし、この固定重アカウントが事前訓練された表層基礎モデル(TFMs)を記述しているかどうかはまだ不明である。
パブリックなTFMパッケージは、モデルがそれを見る前にラベルを標準化するが、通常のデリバティブは、標準化されたラベルの集合の外での振る舞いを反映するので、固定重み付けマップと一致する全ての予測でも、モデルは非線形に見える。
標準化されたラベルの予測にのみ依存する2つの証明書を提案し、固定重み予測と独立非線形ラベル変換の和という2つの異なる説明を拒絶することができる。
私たちが評価した5つの公開TFMの中で、我々の証明は、1つのコンテキストラベルを変更することで、他のラベルが予測にどう影響するかが変化することを示し、これは私たちが共同処理と呼ぶ振る舞いである。
さらに、共同処理がトレーニングとともに出現し、注意スコアが測定されたインタラクションの大部分を担っていることが分かりました。
これらの知見は、文脈ラベルが個々の例の影響をどう変えるかを説明するための TFM の説明を動機付けている。
関連論文リスト
- Quality and Agreement in Multilabel Emotion Annotation: A Case Study and Evaluation Framework [0.042970700836450486]
マルチラベル感情アノテーションのケーススタディを提案する。
本稿では,アノテータの行動とアグリゲーションの選択が,合意推定と下流感情分類にどのように影響するかを検討する。
本研究は,マルチラベル感情データセットの設計,集約,評価のための実践的ガイダンスを提供する。
論文 参考訳(メタデータ) (2026-06-19T03:36:05Z) - Label Dependencies-aware Set Prediction Networks for Multi-label Text Classification [0.0]
グラフ畳み込みネットワークを活用し,ラベル間の統計的関係に基づいて隣接行列を構築する。
我々は,Bhattacharyya距離を設定された予測ネットワークの出力分布に適用することにより,リコール能力を向上する。
論文 参考訳(メタデータ) (2023-04-14T09:31:17Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳(メタデータ) (2022-12-06T07:38:29Z) - Leveraging Instance Features for Label Aggregation in Programmatic Weak
Supervision [75.1860418333995]
Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。
PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。
既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
論文 参考訳(メタデータ) (2022-10-06T07:28:53Z) - GuidedMix-Net: Semi-supervised Semantic Segmentation by Using Labeled
Images as Reference [90.5402652758316]
半教師付きセマンティックセマンティックセグメンテーションのための新しい手法である GuidedMix-Net を提案する。
ラベル付き情報を使用して、ラベルなしのインスタンスの学習をガイドする。
競合セグメンテーションの精度を達成し、mIoUを以前のアプローチに比べて+7$%大きく改善する。
論文 参考訳(メタデータ) (2021-12-28T06:48:03Z) - Instance-Dependent Partial Label Learning [69.49681837908511]
部分ラベル学習は、典型的には弱教師付き学習問題である。
既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。
本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
論文 参考訳(メタデータ) (2021-10-25T12:50:26Z) - Measuring Model Biases in the Absence of Ground Truth [2.802021236064919]
根拠となる真理ラベルに依存しない公平さと偏見の測定に新たなフレーミングを導入する。
代わりに、ある画像のモデル予測を、自然言語処理(NLP)で使用される「言葉の袋」アプローチに類似したラベルの集合として扱う。
異なる相関指標の統計的性質(特に正規化)が,「生成バイアス」が検出されるラベルの異なる集合にどのようにつながるかを実証する。
論文 参考訳(メタデータ) (2021-03-05T01:23:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。