Fugu-MT 論文翻訳(概要): Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners

論文の概要: Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners

arxiv url: http://arxiv.org/abs/2607.25532v1
Date: Tue, 28 Jul 2026 10:17:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-29 20:50:42.795022
Title: Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners
Title（参考訳）: 設計上の絡み合い--タブラルインテクスト学習者におけるSpurious intra-Variable Signal Routing
Abstract要約: テキスト内学習者は、$S$ではなく$C$で予測を合理的にルーティングし、異なる機器を備えた病院に配備すると、静かに失敗することを示す。線形ICLは$r = 0.997$、TabPFNは$r = 0.979$である。環境階層化コンテキスト構築とS-スワップ強化という,環境ラベルの弱さと因果分割の知識の欠如の2つの軽量化を導入する。
参考スコア（独自算出の注目度）: 10.912482254600478
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Consider a model trained at a single hospital to predict patient recovery, where the measured feature $X$ bundles the patient's true health signal ($C$) with a systematic artefact from that hospital's equipment ($S$). Within that hospital, the artefact correlates with outcomes through unmeasured confounders such as patient demographics; an in-context learner rationally routes predictions through $S$, not $C$, and fails silently when deployed at a new hospital with different equipment. We formalise this as \emph{spurious routing in composite representations}: when a feature $X = [C;\,αS;\,η]$ encodes a causal signal $C$ and a spurious signal $S$ in distinct subspaces, the ICL cannot determine which drives predictions. We prove that under ridge ICL, a linear in-context learner, this routing is unavoidable regardless of context size; TabPFN, a state-of-the-art pretrained tabular ICL model, shows qualitatively consistent behaviour empirically. We derive a closed-form characterisation, $\mathrm{CSR} \propto ρ_S/ρ_C$, confirmed at $r = 0.997$ for linear ICL and $r = 0.979$ for TabPFN. Contrary to intuition, larger context sharpens commitment to the dominant in-context signal, amplifying spurious routing by up to $1.74\times$; in the high-spurious corner, more expressive models show greater vulnerability empirically ($+2.22$ CSR gap at high entanglement). We introduce two lightweight mitigations: environment-stratified context construction and S-swap augmentation, that require only weak environment labels and no knowledge of the causal partition. S-swap reduces spurious routing by $74\%$ for linear ICL and $98.8\%$ for TabPFN, with TabPFN's causal sensitivity increasing $8.4\times$ simultaneously: the model does not become agnostic, it reroutes through the causal signal.
Abstract（参考訳）: 1つの病院で、患者の回復を予測するために訓練されたモデルを考えてみましょう。そこでは、測定された特徴が患者の真の健康信号(C$)と、その病院の機器の体系的なアーティファクト(S$)を束ねる。その病院内では、このアーティファクトは、患者の人口統計などの測定されていない共同創設者による結果と相関し、コンテキスト内学習者は、$S$、$C$ではなく$S$を通じて予測を合理的にルーティングし、異なる機器を備えた病院に配備すると静かに失敗する。特徴 $X = [C;\,αS;\,η]$ が因果信号 $C$ とスプリアス信号 $S$ を異なる部分空間でエンコードする場合、ICL はどの予測を駆動するかを決定することができない。線形インコンテキスト学習者であるridge ICLの下では、このルーティングはコンテキストサイズに関係なく避けられず、最先端の事前訓練された表型ICLモデルであるTabPFNは、定性的に一貫した振る舞いを経験的に示す。閉形式のキャラクタリゼーションである$\mathrm{CSR} \propto ρ_S/ρ_C$ を線形ICLでは $r = 0.997$ で、TabPFNでは $r = 0.979$ で確認する。直感とは対照的に、より大きなコンテキストは、支配的なインコンテキスト信号へのコミットメントを高め、刺激的なルーティングを最大1.74\times$まで増幅する。環境階層化コンテキスト構築とS-スワップ拡張という,環境ラベルの弱さと因果分割の知識の欠如の2つの軽量化を提案する。 S-スワップは、線形ICLに対して74\%、TabPFNに対して9.8\%、TabPFNの因果感度が8.4\times$を同時に減少させる。

関連論文リスト

SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
論文参考訳（メタデータ） (2026-08-23T10:41:07Z)
Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文参考訳（メタデータ） (2026-08-06T19:49:48Z)
From Training to Deployment: Post-Hoc Causal Feature Identification via Sensitivity Ratios [10.912482254600478]
既にトレーニング済みのモデルを考えると、因果関係と突発的な機能に依存していますか? 我々は,この問題に対して,ポストホックでモデルに依存しない診断法であるtextbfNormalized Sensitivity Ratio(NSR)を導入する。
論文参考訳（メタデータ） (2026-07-28T10:26:09Z)
Prism: Structural Symmetry Scanning via Duality-Constrained Laplacian Projection [0.0]
複雑なネットワークにおける構造対称性診断のためのフレームワークである textbfPrism を導入する。 Prismは、ネットワークが構造的自己整合性からどのくらい離れているかを測定するスカラーである。
論文参考訳（メタデータ） (2026-05-18T04:20:05Z)
What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。 3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
論文参考訳（メタデータ） (2026-05-12T01:57:53Z)
Why Training-Free Token Reduction Collapses: The Inherent Instability of Pairwise Scoring Signals [0.0]
ビジョントランスフォーマーのトレーニング不要なトークン削減方法は異なるスコアリング機構を用いるが、高い圧縮で密に一致した崖のような崩壊を共有できる。我々は,(1)信号非依存のエラー増幅器に分解する2つのツールを用いて,一貫性のランキング $_s$ と非対角相関 $_textoff$ を作成した。我々はCATISを構成的検証として構築し、単一信号はトリガー閾値を上昇させ、トリアージは利得を抑制する。
論文参考訳（メタデータ） (2026-04-17T23:26:27Z)
Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。主な課題は、敵の計測と非同期である。その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文参考訳（メタデータ） (2026-04-07T11:45:55Z)
Not Just How Much, But Where: Decomposing Epistemic Uncertainty into Per-Class Contributions [1.2891210250935148]
安全クリティカルな分類では、失敗のコストはしばしば非対称である。 MI をクラスごとのベクトル $C_k(x)=_k2/ (2_k)$, $_k=mathbbE[p_k]$ と $_k2=mathrmVar[p_k]$ に分解する。
論文参考訳（メタデータ） (2026-02-24T18:05:51Z)
Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文参考訳（メタデータ） (2026-02-19T17:21:15Z)
In-context Learning for Mixture of Linear Regressions: Existence, Generalization and Training Dynamics [34.458004744956334]
高い確率で$mathcalO(sqrtd/n)$の予測誤差を達成できる変換器が存在することを証明した。また, 1 つの線形自己アテンション層を持つ変圧器のトレーニング力学を解析し, 適切なパラメータで, 人口平均平方損失に対する勾配流の最適化が大域的最適に収束することを示した。
論文参考訳（メタデータ） (2024-10-18T05:28:47Z)
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-07T15:03:50Z)
Toward Adversarial Robustness via Semi-supervised Robust Training [93.36310070269643]
アドリラルな例は、ディープニューラルネットワーク(DNN)に対する深刻な脅威であることが示されている。 R_stand$ と $R_rob$ の2つの異なるリスクを共同で最小化することで、新しい防御手法であるロバストトレーニング(RT)を提案する。
論文参考訳（メタデータ） (2020-03-16T02:14:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。