論文の概要: Topological Signatures of Context-Level Reliability in TabPFN
- arxiv url: http://arxiv.org/abs/2607.17962v1
- Date: Mon, 20 Jul 2026 14:04:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.647884
- Title: Topological Signatures of Context-Level Reliability in TabPFN
- Title（参考訳）: TabPFNにおける文脈レベル信頼性のトポロジ的特徴
- Authors: James Hu, Mahdi Ghelichi,
- Abstract要約: 持続的ホモロジーを用いたTabPFNの内部表現幾何学の挙動について検討する。
TabPFNの内部表現幾何学のトポロジは,データセットレベルの信頼性に強く関連していることがわかった。
以上の結果から,Zigzag の持続性は文脈内タスク幾何の信頼性を診断し,TabPFN がトポロジ的にストレスを受けた状況でいつ動作しているかを文脈的に把握できることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: TabPFN is a transformer-based foundation model for tabular prediction that performs inference without task-specific training by conditioning on a support set and query inputs. Despite its strong empirical performance, its internal behavior on structurally difficult tabular geometries remains poorly understood. We study this behavior using zigzag persistent homology, treating TabPFN layer representations as evolving point clouds. We construct a controlled benchmark of synthetic tabular tasks with known true probabilities and varied intrinsic topology, including warped circles, tori, spheres, Hopf links, trefoil knots, and Swiss rolls. Across these tasks, we find that the topology of TabPFN's internal representation geometry is strongly associated with dataset-level reliability; for example, the zeroth homology group $H_0$ fragmentation count correlates positively with mean absolute residual across controlled tasks, and this association strengthens in a high-resolution warped circle case study at large sample size. Harder geometries induce a dual topological signature: increased $H_1$ loop activity and increased $H_0$ fragmentation, while the $H_1$ persistence becomes shorter-lived. These descriptors correlate with Bayes error, mean absolute residuals, and overconfidence. Our results suggest that zigzag persistence diagnoses the reliability of the inferred in-context task geometry and provides a context-level view of when TabPFN operates in topologically stressed regimes.
- Abstract（参考訳）: TabPFNは、タスク固有のトレーニングなしで、サポートセットとクエリ入力を条件付けして推論を行う、表型予測のためのトランスフォーマーベースの基礎モデルである。
その強烈な経験的性能にもかかわらず、構造的に難しい表層構造上の内部挙動は理解されていない。
我々は、この挙動をジグザグの永続的ホモロジーを用いて研究し、TabPFN層表現を進化点雲として扱う。
本研究は, 変形円, トーラス, 球面, ホップリンク, トレホイル結び目, スイスロールを含む, 真の確率と内在的トポロジーを持つ合成表型タスクの制御されたベンチマークを構築した。
これらのタスク全体で、TabPFNの内部表現幾何学のトポロジーはデータセットレベルの信頼性と強く結びついていることが分かる。例えば、ゼロトホモロジー群$H_0$フラグメンテーション数(英語版)は、制御されたタスク間の平均絶対残差と正に相関し、この関連は大きなサンプルサイズで高分解能の歪んだ円のケーススタディで強化される。
ハードジオメトリは2つのトポロジ的シグネチャを誘導する:$H_1$ループアクティビティが増加し、$H_0$フラグメンテーションが増加し、$H_1$永続性が短くなる。
これらの記述子はベイズ誤差、絶対残差、過信と相関する。
以上の結果から,Zigzag の持続性は文脈内タスク幾何の信頼性を診断し,TabPFN がトポロジ的にストレスを受けた状況でいつ動作しているかを文脈的に把握できることがわかった。
関連論文リスト
- Learning Topology-Aware Representations via Test-Time Adaptation for Anomaly Segmentation [12.965117238061096]
TopoTTAは、トポロジ的データ分析のツールである永続的ホモロジーをテスト時間パイプラインに統合する、新しいフレームワークである。
軽量なテストタイム分類器を導く頑健なトポロジカルな擬似ラベルを導出し、バックボーンモデルを再訓練することなくセグメンテーション品質を向上させる。
大規模な実験では、最先端の教師なし異常検出およびセグメント化手法よりも平均15%のF1改善が示されている。
論文 参考訳（メタデータ） (2026-06-26T17:04:42Z) - Where Computation Lives Inside TabPFN: Causal Localisation of Attention Head Function [7.771378647684901]
一方の頭部の因果関係はピーク層で2倍から5倍の速さで他の頭部の因果関係が支配的であることがわかった。
この結果はTabPFNの文脈学習機構に起因しており、コンテキスト依存的な注意を通してタスク構造を符号化する。
論文 参考訳（メタデータ） (2026-06-11T05:21:08Z) - SEED: Targeted Data Selection by Weighted Independent Set [76.68391670109433]
我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。
SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-15T07:26:54Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳（メタデータ） (2026-04-14T09:48:46Z) - Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。
クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
論文 参考訳（メタデータ） (2026-04-07T13:18:31Z) - Noise Immunity in In-Context Tabular Learning: An Empirical Robustness Analysis of TabPFN's Attention Mechanisms [0.0]
言語基礎モデル(TFM)は、文脈内学習(ICL)を通して異種データセットを一般化する
制御された合成摂動を用いた二元分類問題に対するTabPFNとその注意機構について検討する。
我々は、注意集中度や注目度に基づく特徴ランクの指標を含む内部信号を分析する。
論文 参考訳（メタデータ） (2026-04-06T17:16:37Z) - SGMatch: Semantic-Guided Non-Rigid Shape Matching with Flow Regularization [43.12848612518533]
SGMatchは意味誘導型非厳密な形状マッチングのための学習ベースのフレームワークである。
具体的には,視覚基盤モデルから幾何学的記述子への意味的特徴を統合するセマンティックガイド型ローカルクロスアテンションモジュールを設計する。
本研究では,時間変化速度場を監督し,回復した対応の空間的滑らかさを促進する条件付きフローマッチングに基づく正規化目標を提案する。
論文 参考訳（メタデータ） (2026-03-13T12:31:43Z) - A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。
本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。
我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
論文 参考訳（メタデータ） (2025-02-24T17:38:42Z) - Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。
本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。
複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
論文 参考訳（メタデータ） (2020-03-31T22:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。