論文の概要: The Identifiability and Observability of Deep Normalized Attention

• arxiv url: http://arxiv.org/abs/2610.09620v1
• Date: Wed, 07 Oct 2026 07:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.789973
• Title: The Identifiability and Observability of Deep Normalized Attention
• Title（参考訳）: 深部正規化注意の識別可能性と可観測性
• Abstract要約: 既知の正の非定常実解析正規化器では、関数は有効スコアと結合値を、正規化器によって誘導される符号に総称的に決定する。 正規化条件下では例外繊維を分類し、崩壊が後のスコアを観測不能にするかどうかを特定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study which parameters of deep, unmasked, single-head attention are determined by its input--output function. For known positive nonconstant real-analytic normalizers, the function generically determines the effective scores and combined value map up to the signs induced by even normalizers. This proves the real-analytic case of a conjecture of Henry--Marchetti--Kohn, including softmax. We then classify exceptional fibers under explicit normalizer conditions, identifying when collapse makes later scores unobservable, and establish sharp Taylor orders for local identification. Near simultaneous query/key collapse, we compute the complete native Jacobian decay spectrum on separating finite input banks. For common first nonconstant normalizer degree $k$, layer $i$ has contact order $2k3^{i-1}-1$, with exact multiplicities and kernel dimension. High-precision and automatic differentiation calculations illustrate the resulting loss of numerical sensitivity.
• Abstract（参考訳）: 入出力関数を用いて, 深度, 被写体, 単頭部のどのパラメータが決定されるかを検討した。 既知の正の非定常実解析正規化器では、関数は有効スコアと結合値を、正規化器によって誘導される符号まで総合的に決定する。 これは、Henry-- Marchetti--Kohn の予想がソフトマックスを含む実解析的ケースであることを証明している。 次に、明示的な正規化条件下で例外繊維を分類し、崩壊が後のスコアを観測不能にするかどうかを特定し、局所的な識別のために鋭いテイラーオーダーを確立する。 同時クエリ/キー崩壊に近づき、有限入力バンクを分離する上で、完全にネイティブなヤコビアン崩壊スペクトルを計算する。 一般的な第1の非コンスタント正規化器の次数$k$に対して、層$i$は、正確な乗法と核次元を持つ接触次数$2k3^{i-1}-1$を持つ。 高精度かつ自動微分計算は、数値感度の損失を示す。

関連論文リスト

• Planted Cliques and Quantum Symmetry-Adapted Measurements [0.19116784879310025]
  我々は、量子符号化とヒルベルト適応測定が、ある古典グラフから植えられた斜め検出のための情報を保存する方法を研究する。 コンパクトなバイナリ位相符号化では、定数検出には同じグラフの位相状態のコピー$(n1+2varepsilonlnn)$が必要であることを証明している。
  論文  参考訳（メタデータ） (2026-09-30T17:52:47Z)
• Identifying the Predictable Drift of a Semimartingale from Marginal Laws [6.6697530069333135]
  特殊半行列は、一意分解$X=X_0+M+A$を局所マーチンゲール$M$と予測可能な有限変分部分$A$に分割する。 我々は、繰り返し断面を通してのみ$X$が観測されるときの$A$の識別について検討する。 推定値は、サンプリングされた予測可能な補償器の観測可能な特徴フィルターへの投射、すなわち、現在の状態と、人口間で共有される任意のランダム性である。
  論文  参考訳（メタデータ） (2026-09-27T08:56:35Z)
• Differentiable Interval Bottlenecks for Interpretable Anomaly Detection in Numerical Data [0.5213778368155993]
  DIFFINTは、遅延ボトルネックがソフトな軸方向のインターバルメンバシップのセットとして構成されるオートエンコーダである。 統計的にタイトされた7つの方法のリードクラスターの中で唯一の解釈可能な検出器である。
  論文  参考訳（メタデータ） (2026-09-03T14:05:27Z)
• Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
  機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。 スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
  論文  参考訳（メタデータ） (2026-08-10T19:42:01Z)
• A Compositional Theory of Causally Masked Transformers [50.88598486616582]
  モデルが実装した力学から直接表現性を導出する形式化を開発する。 各アテンションヘッドは、レイヤ内で独立して自身の状態を更新する。 修正されたソフトアテンションは、不可逆なチェックリストのような状態をサポートする。
  論文  参考訳（メタデータ） (2026-07-29T14:47:19Z)
• Cost Accounting for Reactive Computational Graphs: Exhaustive Sweeps, Sequential Mutation, and the Backward-Locality Gap [0.0]
  我々は、Juliaがニューラルネットワークの計算グラフの介入をどのように扱うかを示す。 我々は、持続的な突然変異の連続の正確なコストを証明し、挿入の間を解き放たない。 また、バッチアプリケーションがどのように順序非依存でサブ付加的であるかを示す。
  論文  参考訳（メタデータ） (2026-07-18T00:53:22Z)
• Information from coincidences [0.42671348654734564]
  我々は、情報理論の変分結果の広い範囲を統一する1つの代数的混合偶然同一性導出を証明した。 アイデンティティは、経験的分布の集中、仮説テストエラー指数、変化測定の不等式、まれなパターンの偶然を規定する法則といった、情報理論の統一的な基盤を生み出している。
  論文  参考訳（メタデータ） (2026-06-23T18:01:05Z)
• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy [68.86835407617778]
  Anomaly Transformerは、6つの教師なし時系列異常検出ベンチマークで最先端のパフォーマンスを達成する。 Anomaly Transformerは、6つの教師なし時系列異常検出ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-10-06T10:33:55Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。