論文の概要: A Generalized Singular Value Theory for Neural Networks

• arxiv url: http://arxiv.org/abs/2605.06938v1
• Date: Thu, 07 May 2026 20:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.619684
• Title: A Generalized Singular Value Theory for Neural Networks
• Title（参考訳）: ニューラルネットワークの一般化特異値理論
• Authors: Brian Charles Brown, Robert Bridges, David Grimsman, Mauricio Munoz, Sean Warnick,
• Abstract要約: 現代のほとんどのニューラルネットワークアーキテクチャでは、最終的な線形層の前に左可逆である一般化SVD表現が認められている。 入力出力動作の左非可逆非線形部分の摂動は、エンフィノーム保存にできる」。 本稿では,学習した表現をモデル入力に対する逆摂動の同定に利用できるという概念実証を提案する。
• 参考スコア（独自算出の注目度）: 0.7829352305480285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building on the abstract Generalized Singular Value Decomposition (GSVD) theory of Brown et al. [2025], we prove that most modern neural architectures admit a generalized SVD representation in which they are left-invertible before a final linear layer, with no change in input-output behavior. Furthermore, the left-invertible nonlinear portion of the input-output behavior can be made to be \emph{norm preserving}, meaning that perturbations in the left-invertible ``embedding'' (the activations prior to the final linear layer in this representation) correspond proportionally to changes in the input, i.e., distance in feature space can be calibrated directly to distance in input space. We provide a data-driven algorithm for estimating this representation from trained models and propose a model architecture that naturally facilitates the decomposition. We then provide a proof-of-concept that the learned representation can be used to identify adversarial perturbations to model inputs, and develop the theory necessary for future applications to areas such as model bias and invertibility.
• Abstract（参考訳）: Brown et al [2025] の抽象的一般化特異値分解(GSVD)理論に基づいて、現代のほとんどのニューラルアーキテクチャは、最終的な線形層の前に左可逆である一般化SVD表現を、入力-出力の振る舞いに変化を持たず認めている。 さらに、入力出力動作の左非可逆非線形部分は 'emph{norm Preserving} となり、つまり、左非可逆な '`embedding'' の摂動(この表現における最後の線形層前の活性化)は入力の変化に比例する。 我々は、この表現を訓練されたモデルから推定するためのデータ駆動アルゴリズムを提案し、その分解を自然に促進するモデルアーキテクチャを提案する。 次に、学習した表現を用いて、モデル入力に対する逆摂動を同定し、モデルバイアスや可逆性といった分野への将来の応用に必要な理論を開発できるという概念実証を提供する。

関連論文リスト

• Impact of Connectivity on Laplacian Representations in Reinforcement Learning [9.306521175972588]
  本研究では, 線形値関数近似の近似誤差について, 学習スペクトル条件下での上限値を示す。 固有ベクトル推定自体によってもたらされる誤差をさらに制限し、エンドツーエンドのエラー分解に繋がる。 我々の結果は、誘導された遷移核の対称性を仮定せずに一般的な(一様でない)ポリシーを保っている。
  論文  参考訳（メタデータ） (2026-03-09T16:20:31Z)
• Generalization in Representation Models via Random Matrix Theory: Application to Recurrent Networks [7.721672385781673]
  まず,固定された特徴表現(凍結中間層)と学習可能な読み出し層を用いたモデルの一般化誤差について検討する。 一般化誤差に対する閉形式式を導出するためにランダム行列理論を適用する。 次に、この解析を繰り返し表現に適用し、その性能を特徴付ける簡潔な公式を得る。
  論文  参考訳（メタデータ） (2025-11-04T09:30:31Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Bilinear Convolution Decomposition for Causal RL Interpretability [0.0]
  強化学習(RL)モデルを解釈する試みは、しばしば帰属や探究のような高度な技術に依存している。 本研究では、畳み込みニューラルネットワーク(ConvNets)の非線形性を双線型変種に置き換え、これらの制限に対処可能なモデルのクラスを作成することを提案する。 モデルフリー強化学習環境では,バイリニアモデルの変形が相容れないことを示し,ProcGen環境上での並べ比較を行う。
  論文  参考訳（メタデータ） (2024-12-01T19:32:04Z)
• State-space models can learn in-context by gradient descent [1.3087858009942543]
  状態空間モデルは、勾配に基づく学習を実行し、変換器と全く同じ方法で、文脈内学習に使用することができることを示す。 具体的には、1つの構造化状態空間モデル層が乗算入力と出力ゲーティングで拡張され、暗黙線形モデルの出力を再現できることを証明した。 また、状態空間モデルと線形自己意識の関係と、文脈内で学習する能力に関する新たな知見を提供する。
  論文  参考訳（メタデータ） (2024-10-15T15:22:38Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Log-linear Guardedness and its Implications [116.87322784046926]
  線形性を仮定する神経表現から人間の解釈可能な概念を消去する方法は、抽出可能で有用であることが判明した。 この研究は、対数線ガードネスの概念を、敵が表現から直接その概念を予測することができないものとして正式に定義している。 バイナリの場合、ある仮定の下では、下流の対数線形モデルでは消去された概念を復元できないことを示す。
  論文  参考訳（メタデータ） (2022-10-18T17:30:02Z)
• Generative Model without Prior Distribution Matching [26.91643368299913]
  変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。 我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
  論文  参考訳（メタデータ） (2020-09-23T09:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。