論文の概要: Where Computation Lives Inside TabPFN: Causal Localisation of Attention Head Function
- arxiv url: http://arxiv.org/abs/2606.12917v1
- Date: Thu, 11 Jun 2026 05:21:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.598938
- Title: Where Computation Lives Inside TabPFN: Causal Localisation of Attention Head Function
- Title（参考訳）: TabPFN内における計算の在り方:注意頭機能の因果的局在
- Abstract要約: 一方の頭部の因果関係はピーク層で2倍から5倍の速さで他の頭部の因果関係が支配的であることがわかった。
この結果はTabPFNの文脈学習機構に起因しており、コンテキスト依存的な注意を通してタスク構造を符号化する。
- 参考スコア（独自算出の注目度）: 7.771378647684901
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present the first causal mechanistic analysis of a tabular foundation model, investigating how TabPFN 2.5's feature wise attention heads distribute computation across layers. Using activation patching, ablation, and attention entropy across two synthetic regression datasets, we find clear temporal specialisation: one head's causal necessity dominates that of the others by 2 to 5 times at peak layer, with its dominant layer shifting across tasks of different complexity, while the remaining heads exhibit symmetric late layer profiles. Attention entropy and patching provide convergent evidence for the computationally active layers of the dominant head. We additionally investigate inference time steerability via contrastive activation steering, which fails to transfer across samples. We attribute this result to TabPFN's in context learning mechanism, which encodes task structure through context dependent attention rather than the stable parametric directions that make steering tractable in language models.
- Abstract（参考訳）: 本稿では,TabPFN 2.5の機能的注目度が階層間を分散する方法について検討した。
2つの合成回帰データセット間のアクティベーションパッチ、アブレーション、アテンションエントロピーを用いて、ある頭部の因果関係がピーク層で2倍から5倍に支配され、残りの頭部は左右対称の後期層プロファイルを示す。
注意エントロピーとパッチングは、支配的頭部の計算活性層の収束した証拠を与える。
また, サンプル間の移動に失敗するアクティベーションステアリングを用いて, 推定時間ステアビリティについて検討した。
この結果はTabPFNの文脈学習機構に起因しており、この機構は、言語モデルにおいてステアリングをトラクタブルにする安定したパラメトリック方向ではなく、コンテキスト依存の注意を通してタスク構造を符号化する。
関連論文リスト
- Topological Signatures of Context-Level Reliability in TabPFN [0.0]
持続的ホモロジーを用いたTabPFNの内部表現幾何学の挙動について検討する。
TabPFNの内部表現幾何学のトポロジは,データセットレベルの信頼性に強く関連していることがわかった。
以上の結果から,Zigzag の持続性は文脈内タスク幾何の信頼性を診断し,TabPFN がトポロジ的にストレスを受けた状況でいつ動作しているかを文脈的に把握できることがわかった。
論文 参考訳（メタデータ） (2026-07-20T14:04:01Z) - Singular perturbations and hierarchical learning in two-layer neural networks [3.899493143383179]
本研究では, 無限に広い2層ニューラルネットワークの集団勾配流を, 高次元で不特定な単一インデックスモデルから学習する。
隠れリンク関数の定数成分と線形成分が実際に予測された時間スケール内で復元されることを証明した。
論文 参考訳（メタデータ） (2026-07-12T18:10:23Z) - How Vision Becomes Language: A Layer-wise Information-Theoretic Analysis of Multimodal Reasoning [3.720343746691839]
視覚的一様情報は早期にピークを迎え、深度とともに減衰し、後期層では言語的一様情報が急上昇し、相互の相乗効果は2%以下であることを示す。
これらの結果から,マルチモーダルトランスフォーマーにおける視覚の言語化に関する情報理論的,因果的考察が得られた。
論文 参考訳（メタデータ） (2026-02-17T13:49:49Z) - How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。
我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
論文 参考訳（メタデータ） (2025-05-02T00:07:35Z) - A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。
本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。
我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
論文 参考訳（メタデータ） (2025-02-24T17:38:42Z) - Towards Robust and Realistic Human Pose Estimation via WiFi Signals [85.60557095666934]
WiFiベースの人間のポーズ推定は、離散的で微妙なWiFi信号を人間の骨格にブリッジする難しいタスクである。
本論文は,本問題を再検討し,(1)ドメイン間ギャップ,(2)ソース・ターゲット領域のポーズ分布の顕著な変化,(2)骨格のポーズが歪んだトポロジーを示す構造的フィデリティギャップ,の2つの重要な問題を明らかにする。
本稿では,タスクをDT-Poseと呼ばれる新しい2段階のフレームワークに書き換えることで,これらのギャップを埋める:ドメイン一貫性表現学習とトポロジ制約ポスデコーディング。
論文 参考訳（メタデータ） (2025-01-16T09:38:22Z) - Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。
クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文 参考訳（メタデータ） (2024-09-09T18:10:26Z) - The Remarkable Robustness of LLMs: Stages of Inference? [5.346230590800585]
本研究では,Large Language Models (LLM) の構造的介入に対するロバスト性について検討する。
驚くべきことに、モデルは微調整なしでオリジナルのトップ1予測精度の72-95%を維持している。
論文 参考訳（メタデータ） (2024-06-27T17:57:03Z) - A phase transition between positional and semantic learning in a solvable model of dot-product attention [30.96921029675713]
学習可能な,低次元の問合せとキーデータを備えた非次元自己注意層として,高次モデルドット積注意法について検討した。
位置注意機構(それぞれの位置に基づくトークンを含む)と意味注意機構(それぞれの意味に基づいて互いに結びついているトークンを含む)と、サンプルの複雑さが増大する前者から後者への遷移が示される。
論文 参考訳（メタデータ） (2024-02-06T11:13:54Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Domain Adaptive Synapse Detection with Weak Point Annotations [63.97144211520869]
弱点アノテーションを用いたドメイン適応型シナプス検出のためのフレームワークであるAdaSynを提案する。
I SBI 2023のWASPSYNチャレンジでは、我々の手法が第1位にランクインした。
論文 参考訳（メタデータ） (2023-08-31T05:05:53Z) - Contrastive Conditional Neural Processes [45.70735205041254]
条件付きニューラル・プロセス(CNP)は、メタラーニング環境下でのプロセスの機能に近い確率的推論でニューラルネットワークをブリッジする。
2つの補助的コントラスト分岐が階層的に設定される。すなわち、インストラクテーション時間的コントラスト学習(tt TCL)とクロスストラクテーション関数コントラスト学習(tt FCL)である。
実験により、tt TCLは観測の高レベルの抽象化を捉えるのに対し、tt FCLは基底関数の同定に役立ち、より効率的な表現を提供することを示す。
論文 参考訳（メタデータ） (2022-03-08T10:08:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。