論文の概要: Hidden Activations are not Enough I: Knowledge Matrices as Higher Representations

• arxiv url: http://arxiv.org/abs/2609.34166v1
• Date: Mon, 28 Sep 2026 02:43:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 06:14:36.982265
• Title: Hidden Activations are not Enough I: Knowledge Matrices as Higher Representations
• Title（参考訳）: 隠れたアクティベーションは十分ではない : 高次表現としての知識行列
• Abstract要約: トレーニングされたフィードフォワードネットワークの知識行列を,その入力の高次表現として検討する。 固定形状は、ResNet-152、DenseNet-121、GoogLeNet間のアライメントフリーのサンプル間距離を与える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the knowledge matrix of a trained feedforward network as a higher representation of its inputs. A network is a pair $(W,f)$, a thin representation $W$ of its quiver and an activation $f$; its function factorizes through the space of quiver representations, each input $x$ inducing a representation, and the knowledge matrix $M(x)\in\mathbb{R}^{C\times(d+1)}$ is the contraction of that representation to one matrix whose rows sum exactly to the logits. At one trained network we ask what determines it, what it is invariant to, what it determines, and what its geometry measures. Under (LCS), a locally constant slope diagonal, as for ReLU, the matrix at a regular input is a function of the realized germ; its stabilizer among encodings regular there is exactly the germ stabilizer at inputs with no vanishing coordinate, neuron permutation a special case; and it recovers the germ, whereas hidden activations, gauge-covariant and germ-incomplete, are not enough. Under (LCS) it equals per-class gradient$\times$input plus an exact aggregate bias attribution, grounding it in attribution theory and computing it by $C$ vector-Jacobian products instead of probing. The fixed shape gives an alignment-free per-sample distance between ResNet-152, DenseNet-121 and GoogLeNet; the row-sum identity gives an exact visible/invisible displacement decomposition whose unit-free coherence $A=(d_Ψ/d_M)^2$ puts adversarial germ motion at median $A\le 0.23$, with an attack-family ordering concordant across six architectures (Kendall $W=0.921$; $0.97$ on the three networks at full scale). Two honest negatives: on AlexNet/CIFAR-10 penultimate features win 5 of 6 detectors and all 16 attacks, and a matrix-direction counterfactual fails 0/54.
• Abstract（参考訳）: トレーニングされたフィードフォワードネットワークの知識行列を,その入力の高次表現として検討する。 ネットワークはペア$(W,f)$、シン表現$W$とアクティベーション$f$であり、その関数はクイバー表現の空間を分解し、各入力$x$は表現を誘導し、知識行列$M(x)\in\mathbb{R}^{C\times(d+1)}$は、行がロジットに正確に一致する1つの行列へのその表現の縮約である。 ある訓練されたネットワークでは、何を決定するのか、何に不変なのか、何を決定するのか、何を測定するのか、何を測定するのかを尋ねます。 通常の入力における行列は、ReLUのように局所的に一定な傾斜対角線の下では、実現された胚の関数であり、正規に符号化する間の安定化器は、消滅座標のない入力におけるまさに胚の安定化器であり、ニューロンの置換は特別なケースであり、胚を回復するが、隠れた活性化、ゲージ共変および胚不完全は不十分である。 LCS(英語版)の下では、クラスごとの勾配$\times$inputと正確な集合バイアス属性とが等しく、帰属論に基礎を置いて、探索ではなくベクトル-ヤコビアン積$C$で計算する。 固定形状は、ResNet-152、DenseNet-121、GoogLeNet間のアライメントフリーのサンプル間距離を与え、行サマーアイデンティティは、ユニットフリーのコヒーレンスが$A=(d_*/d_M)^2$の正確な可視・不可視の変位分解を、中央値の$A\le 0.23$で表し、6つのアーキテクチャ(Kendall $W=0.921$; $0.97$)をまたいで攻撃ファミリーの順序付けコンコーダント(Kendall $W=0.921$; $0.97$)で表す。 AlexNet/CIFAR-10は6つの検出器のうち5つと16の攻撃で勝利し、行列方向の反ファクトは0/54で失敗する。

関連論文リスト

• The Automaton Underneath: The Additive Input Pathway Is a Parasitic Attractor for State Tracking in Householder Linear RNN [0.0]
  入力依存型Housester-product transitions(DeltaNet/DeltaProduct-class)を持つ線形RNNは、ハードステートトラッキングオートマトンを確実に表現できる。 1つの項が削除された同じモデル -- 付加的なインジェクション$b_t = W_b e_t$。 b_t$の場合、モデルは長さ32に収まり、パリティ、$S_4$、$A_5$、および非解決可能な$S_5$のワード問題で分配される。
  論文  参考訳（メタデータ） (2026-07-16T02:52:00Z)
• Polymorphism Is Rotation: Operational Mechanistic Interpretability from a Two-Layer Transformer to Pythia-70m [0.0]
  独立に訓練された変圧器は、均一なランダム回転によって異なる残差ストリームベースで同じ関数を計算する。 この現象を多型と呼ぶ:同じ関数、相互に理解不能な内部座標である。 この現象は標準的なSAE測度には見えない。
  論文  参考訳（メタデータ） (2026-05-23T13:37:59Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Why should autoencoders work? [1.6317061277457001]
  ディープニューラルネットワークオートエンコーダは、モデルリダクションに日常的に使用される。 このテクニックが"動作する"ことが分かり、この効果を説明する方法があるかどうかを問うことになる。
  論文  参考訳（メタデータ） (2023-10-03T17:53:43Z)
• Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
  関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
  論文  参考訳（メタデータ） (2021-09-06T14:21:43Z)
• Householder Activations for Provable Robustness against Adversarial Attacks [37.289891549908596]
  l_2ノルムの下で厳密なリプシッツ制約を持つ畳み込みニューラルネットワーク(CNN)の訓練は、証明可能な対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 本稿では,学習可能な家事変換を用いた非線型GNPアクティベーションのクラスについて紹介する。 CIFAR-10 と CIFAR-100 を用いた実験により,mathrmHH$ 活性化による正規化ネットワークは,標準精度と信頼性の両面で有意な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-08-05T12:02:16Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。