論文の概要: When Repeated Measurements Hurt Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2610.16801v1
• Date: Mon, 12 Oct 2026 13:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:29:04.683779
• Title: When Repeated Measurements Hurt Tabular Foundation Models
• Title（参考訳）: ハートタブラル基礎モデルの繰り返し測定
• Abstract要約: 付加的な測定により、他の方法で劣化しながら、測定された入力の予測を改善することができることを示す。 ハームは低騒音で最も頻度が高く、無関係な特徴はいくつかのモデルでそれを増幅する。 介入は、TabPFN-v3の注意スケーリングにおける行数依存を害の要因として特定する。
• 参考スコア（独自算出の注目度）: 8.478769117247355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models (TFMs) achieve state-of-the-art performance on IID benchmarks, but how do they respond to repeated measurements at the same inputs? Across six TFMs, synthetic and semi-synthetic experiments show that additional measurements can improve predictions at measured inputs while degrading them elsewhere. Harm is most frequent at low noise, and irrelevant features amplify it in several models; real repeated-measurement datasets show similar patterns. Statistically, the IID rule targeted by PFN pretraining treats each repeated input as fresh evidence about the input distribution. When the prior links this distribution to the response function, the resulting protocol mismatch can outweigh the benefit of additional measurements, even under exact inference. Computationally, interventions identify row-count dependence in TabPFN-v3's attention scaling as a contributor to harm. Resetting the count largely reverses distortion in a noiseless linear diagnostic and attenuates amplification by irrelevant features. Finally, we evaluate ways to retain the benefits of repeated measurements while limiting their harm. Averaging measurements usually outperforms supplying them separately at larger repetition counts, whereas count reset can suppress both harm and useful gains. Code, saved results and reproduction instructions are available at https://github.com/drizmiz/PFN-Repeated-Measurement-Supp
• Abstract（参考訳）: タブラル基礎モデル(TFM)はIDDベンチマークの最先端性能を実現するが、同じ入力で繰り返し測定された結果にどう反応するだろうか? 6つのTFMのうち、合成および半合成実験により、測定された入力の予測を改善するとともに、他の場所で分解することができることが示されている。 Harmは低ノイズで頻繁に使用されるが、無関係な機能はいくつかのモデルでそれを増幅する。 統計的には、PFN事前訓練を対象とするIDルールは、各入力を入力分布に関する新鮮な証拠として扱う。 前者は、この分布を応答関数にリンクすると、結果のプロトコルミスマッチは、正確な推論下であっても、さらなる測定の利点を上回る可能性がある。 計算によって、介入はTabPFN-v3の注意スケーリングにおける行数依存を害の要因として特定する。 カウントをリセットすることは、ノイズのない線形診断における歪みを大きく逆転させ、無関係な特徴によって増幅を減衰させる。 最後に、繰り返し測定の利点を維持しつつ、その害を抑える方法を評価する。 平均的な測定は、通常、より大きな繰り返し回数でそれらを別々に供給するよりも優れ、一方、カウントリセットは、損傷と有用な利得の両方を抑制することができる。 コード、保存された結果、再生命令はhttps://github.com/drizmiz/PFN-repeated-Measurement-Suppで入手できる。

関連論文リスト

• Capability Scaling-Down Laws for LLM Compression [57.14348517864116]
  我々は, LLM圧縮のスケールダウン法則を, 刈り込み, 定量化, 蒸留にまたがって検討した。 我々のフレームワークは、数学、コード生成、質問応答における能力損失を測定する。 我々は単純な予測関係を構築し、その精度、測定効率、および未知の構成やモデル状態への一般化を評価する。
  論文  参考訳（メタデータ） (2026-10-01T20:35:12Z)
• A Heckler in the Hidden State: Correctness Signals in Diffusion Language Models [4.165512410177194]
  拡散モデルは、部分的にマスキングされたシーケンスを繰り返し更新することでコードを生成する。 我々は、それらの内部アクティベーションがコード正しさを符号化し、その情報が生成を改善するかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-29T05:54:31Z)
• Posterior Information Dynamics of Diffusion Models for Linear Inverse Problems [11.548853370822343]
  本研究は,各ノイズレベルにおいて,円滑な確率力,正確な後方値と先行値の差について検討する。 測定値の平均化は情報最小平均二乗誤差(I-MMSE)と情報ゲインをデノナイジングエラーの低減に結び付ける。
  論文  参考訳（メタデータ） (2026-08-22T00:53:42Z)
• Loud or Silent? A Reusable Framework for Per-Modality Failure Analysis in Multimodal Clinical AI [3.7524666944787644]
  2つの疑問は、どのモダリティに責任があるか、そしてモデルがモダリティを落として大音量または無音で失敗するかである。 モデルに依存しないモダリティ・欠陥の枠組みとして、Nのモダリティの埋め込み、マスクを意識したプローブ、ラベルを与えられた場合、例ごとの故障分類を返します。 モダリティ当たりのVSサイレントレートを報告し、3つのモダリティ相補性行列にスケールする。
  論文  参考訳（メタデータ） (2026-08-02T19:38:56Z)
• PEEL the Layers and Find Yourself: Revisiting Inference-time Data Leakage for Residual Neural Networks [64.90981115460937]
  本稿では、ディープニューラルネットワーク(NN)の推論時データ漏洩リスクについて検討する。 残差NNの中間出力からブロックワイズ入力特徴を効果的に回収できる新しい後方特徴逆変換法である textbfPEEL を提案する。 その結果,平均二乗誤差 (MSE) で評価した場合,PEEL は最先端の回収方法よりも桁違いに優れていることがわかった。
  論文  参考訳（メタデータ） (2025-04-08T20:11:05Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• PRISM: Mitigating EHR Data Sparsity via Learning from Missing Feature Calibrated Prototype Patient Representations [7.075420686441701]
  PRISMは、類似した患者のプロトタイプ表現を活用することで、データを間接的にインプットするフレームワークである。 PRISMには、ステータスの欠如を考慮した各機能の信頼性を評価する機能信頼モジュールも含まれている。 MIMIC-III, MIMIC-IV, PhysioNet Challenge 2012, eICU データセットを用いた実験により, PRISM の院内死亡予測と30日間の読解作業における優れた性能が示された。
  論文  参考訳（メタデータ） (2023-09-08T07:01:38Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Diffusion Model Based Posterior Sampling for Noisy Linear Inverse Problems [14.809545109705256]
  本稿では、簡単な閉形式近似を確率スコアに提案することにより、高速で効果的な解を提案する。 拡散モデルとフローベースモデルの両方において、様々な雑音線形逆問題に対して広範な実験を行う。 提案手法は,全ての基本手法よりもはるかに高速でありながら,高い競争力あるいはより優れた復元性能を示す。
  論文  参考訳（メタデータ） (2022-11-20T01:09:49Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Continual Learning for Fake Audio Detection [62.54860236190694]
  本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。 ASVspoof 2019データセットで実験が行われる。
  論文  参考訳（メタデータ） (2021-04-15T07:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。