論文の概要: Who Said Neural Networks Aren't Linear?

• arxiv url: http://arxiv.org/abs/2510.08570v1
• Date: Thu, 09 Oct 2025 17:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.313284
• Title: Who Said Neural Networks Aren't Linear?
• Title（参考訳）: 誰がニューラルネットワークをリニアにしないのか?
• Authors: Nimrod Berman, Assaf Hallak, Assaf Shocher,
• Abstract要約: 本稿では,そのようなベクトル空間を構築によって明示する手法を提案する。 線形作用素 $A$ を 2 つの可逆ニューラルネットワーク、$f(x)=g_y-1(A g_x(x))$ に挟むと、対応するベクトル空間 $X$ と $Y$ は新たに定義された加算およびスケーリングアクションによって誘導される。
• 参考スコア（独自算出の注目度）: 10.340966855587405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are famously nonlinear. However, linearity is defined relative to a pair of vector spaces, $f$$:$$X$$\to$$Y$. Is it possible to identify a pair of non-standard vector spaces for which a conventionally nonlinear function is, in fact, linear? This paper introduces a method that makes such vector spaces explicit by construction. We find that if we sandwich a linear operator $A$ between two invertible neural networks, $f(x)=g_y^{-1}(A g_x(x))$, then the corresponding vector spaces $X$ and $Y$ are induced by newly defined addition and scaling actions derived from $g_x$ and $g_y$. We term this kind of architecture a Linearizer. This framework makes the entire arsenal of linear algebra, including SVD, pseudo-inverse, orthogonal projection and more, applicable to nonlinear mappings. Furthermore, we show that the composition of two Linearizers that share a neural network is also a Linearizer. We leverage this property and demonstrate that training diffusion models using our architecture makes the hundreds of sampling steps collapse into a single step. We further utilize our framework to enforce idempotency (i.e. $f(f(x))=f(x)$) on networks leading to a globally projective generative model and to demonstrate modular style transfer.
• Abstract（参考訳）: ニューラルネットワークは明らかに非線形である。 しかし、線型性はベクトル空間の対に対して定義され、$f$$:$X$$\to$$Y$である。 伝統的に非線形な函数が実際に線型であるような一対の非標準ベクトル空間を特定できるだろうか。 本稿では,そのようなベクトル空間を構築によって明示する手法を提案する。 線形作用素$A$を2つの可逆ニューラルネットワーク、$f(x)=g_y^{-1}(A g_x(x))$に挟むと、対応するベクトル空間$X$と$Y$は、$g_x$と$g_y$から新たに定義された加算およびスケーリングアクションによって誘導される。 この種のアーキテクチャをLinearizerと呼びます。 このフレームワークは、SVD、擬逆数、直交射影など、線型代数の全アーセナルを非線形写像に適用する。 さらに,ニューラルネットワークを共有する2つの線形化器の構成も線形化器であることを示す。 この特性を活用し、アーキテクチャを用いたトレーニング拡散モデルにより、数百のサンプリングステップが単一のステップに崩壊することを示す。 さらに、我々のフレームワークを利用して、グローバルな射影生成モデルにつながるネットワーク上でのイデオロシティ(例えば$f(f(x))=f(x)$)を強制し、モジュラースタイルの転送を実証する。

関連論文リスト

• Geometry of fibers of the multiplication map of deep linear neural networks [0.0]
  固定行列に乗算する構成可能な行列のクイバーの集合の幾何学について検討する。 我々の解は、同変コホモロジーにおけるポアンカー級数、二次整数プログラム、明示的な公式の3つの形式で表される。
  論文  参考訳（メタデータ） (2024-11-29T18:36:03Z)
• A Walsh Hadamard Derived Linear Vector Symbolic Architecture [83.27945465029167]
  シンボリックベクトルアーキテクチャ(VSAs)は、ニューロシンボリックAIを開発するためのアプローチである。 HLBは計算効率が良く、従来のVSAタスクで有効であるように設計されている。
  論文  参考訳（メタデータ） (2024-10-30T03:42:59Z)
• Weight-based Decomposition: A Case for Bilinear MLPs [0.0]
  GLU(Gated Linear Units)は、現代の基礎モデルにおいて一般的なビルディングブロックとなっている。 Bilinear 層は "gate" の非線形性を低下させるが、他の GLU に匹敵する性能を持つ。 双線型テンソルを相互作用する固有ベクトルの集合に分解する手法を開発する。
  論文  参考訳（メタデータ） (2024-06-06T10:46:51Z)
• Neural Networks can Learn Representations with Gradient Descent [68.95262816363288]
  特定の状況下では、勾配降下によって訓練されたニューラルネットワークは、カーネルメソッドのように振る舞う。 実際には、ニューラルネットワークが関連するカーネルを強く上回ることが知られている。
  論文  参考訳（メタデータ） (2022-06-30T09:24:02Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
  我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
  論文  参考訳（メタデータ） (2021-02-18T19:39:22Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)
• Affine symmetries and neural network identifiability [0.0]
  我々は、潜在的に複雑なアフィン対称性を持つ任意の非線形性を考える。 この対称性は、同じ関数が$f$となるようなネットワークのリッチな集合を見つけるのに利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-21T07:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。