論文の概要: Spectral Identifiability for Interpretable Probe Geometry
- arxiv url: http://arxiv.org/abs/2511.16288v1
- Date: Thu, 20 Nov 2025 12:09:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-21 17:08:52.606032
- Title: Spectral Identifiability for Interpretable Probe Geometry
- Title(参考訳): 解釈可能なプローブ形状のスペクトル同定可能性
- Authors: William Hao-Cheng Huang,
- Abstract要約: 線形プローブは神経表現の解釈と評価に広く用いられているが、その信頼性はまだ不明である。
我々は、この現象の背後にあるスペクトルメカニズムを発見し、それを、プローブ安定性の検証可能なフィッシャーに着想を得た条件であるスペクトル識別可能性原理(SIP)として定式化する。
解析は, 固有ギャップ幾何学, サンプルサイズ, および有限サンプル推論による誤分類リスクを関連付け, 緩い一般化境界ではなく解釈可能な診断を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linear probes are widely used to interpret and evaluate neural representations, yet their reliability remains unclear, as probes may appear accurate in some regimes but collapse unpredictably in others. We uncover a spectral mechanism behind this phenomenon and formalize it as the Spectral Identifiability Principle (SIP), a verifiable Fisher-inspired condition for probe stability. When the eigengap separating task-relevant directions is larger than the Fisher estimation error, the estimated subspace concentrates and accuracy remains consistent, whereas closing this gap induces instability in a phase-transition manner. Our analysis connects eigengap geometry, sample size, and misclassification risk through finite-sample reasoning, providing an interpretable diagnostic rather than a loose generalization bound. Controlled synthetic studies, where Fisher quantities are computed exactly, confirm these predictions and show how spectral inspection can anticipate unreliable probes before they distort downstream evaluation.
- Abstract(参考訳): 線形プローブは神経表現の解釈と評価に広く用いられているが、その信頼性は不明確であり、一部の状況では正確に見えるが、他の状況では予測不可能に崩壊する。
我々は、この現象の背後にあるスペクトル機構を発見し、それを、プローブ安定性の検証可能なフィッシャーに着想を得た条件であるスペクトル識別可能性原理(SIP)として定式化する。
タスク関連方向を分離する固有ギャップがフィッシャー推定誤差よりも大きい場合、推定された部分空間は集中し、精度は一定であり、一方、このギャップを閉じると相転移的に不安定になる。
解析は, 固有ギャップ幾何学, サンプルサイズ, および有限サンプル推論による誤分類リスクを関連付け, 緩い一般化境界ではなく解釈可能な診断を提供する。
魚の量を正確に計算した制御された合成研究は、これらの予測を確認し、下流の評価を歪める前にスペクトル検査がどのように信頼できないプローブを予測できるかを示す。
関連論文リスト
- Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。
以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文 参考訳(メタデータ) (2025-10-22T19:06:39Z) - Spectral Thresholds for Identifiability and Stability:Finite-Sample Phase Transitions in High-Dimensional Learning [0.0]
高次元学習では、サンプルサイズが臨界レベル以下になると、モデルは突然崩壊するまで安定している。
私たちのFisher Threshold Theoremは、最小のFisher固有値が明示的な$O(sqrtd/n)$boundを超えることを証明してこれを公式化する。
事前またはモデル固有の基準とは異なり、この閾値は有限サンプルであり、信頼性の高い濃度と避けられない失敗の間の急激な位相遷移を示す。
論文 参考訳(メタデータ) (2025-10-04T13:33:48Z) - On Spectral Properties of Gradient-based Explanation Methods [6.181300669254824]
我々は,新しい確率的・スペクトル的視点を用いて説明法を解析する。
今回の研究では、勾配によるスペクトルバイアスが広範に広まっており、一般的な設計選択に光を当てています。
提案する形式主義に基づく2つの治療法を提案する。 (i) 標準摂動尺度を決定するメカニズムと, (ii) スペクトルレンズと呼ぶ集約手法である。
論文 参考訳(メタデータ) (2025-08-14T12:37:22Z) - Ensembled Prediction Intervals for Causal Outcomes Under Hidden
Confounding [49.1865229301561]
本稿では,既存の因果感受性モデルを用いた部分同定手法を提案し,Caus-Modensがより厳密な結果区間を与えることを示す。
3つの異なるベンチマークのうち最後のものは、未知だが探究可能な基底真理を持つ観測実験にGPT-4を新たに使用することである。
論文 参考訳(メタデータ) (2023-06-15T21:42:40Z) - Neural density estimation and uncertainty quantification for laser
induced breakdown spectroscopy spectra [4.698576003197588]
構造付きスペクトル潜在空間上の正規化フローを用いて確率密度を推定する。
観測されていない状態ベクトルを予測する際に不確実性定量化法を評価する。
火星探査機キュリオシティが収集したレーザー誘起分解分光データに本手法の有効性を実証する。
論文 参考訳(メタデータ) (2021-08-17T01:10:29Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳(メタデータ) (2020-12-05T17:30:35Z) - Interpreting Uncertainty in Model Predictions For COVID-19 Diagnosis [0.0]
新型コロナウイルス(COVID-19)は、一般的なラボスワブ検査に加えて、診断の迅速化に補助ツールを使用する必要性が高まっている。
従来の畳み込みネットワークは、不確実性の捕捉に欠ける予測に点推定を用いる。
ベイジアン畳み込みニューラルネットワークを用いて計算された予測の不確実性を考慮した,不確実性とそのコンポーネントの解釈可能性に対処する可視化フレームワークを開発した。
論文 参考訳(メタデータ) (2020-10-26T01:27:29Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳(メタデータ) (2020-08-07T08:22:26Z) - Balance-Subsampled Stable Prediction [55.13512328954456]
本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。
設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。
合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
論文 参考訳(メタデータ) (2020-06-08T07:01:38Z) - Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint
modeling [69.35569554213679]
解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。
この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。
本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
論文 参考訳(メタデータ) (2020-05-16T21:17:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。