論文の概要: The Spectral Neuron

• arxiv url: http://arxiv.org/abs/2608.08003v2
• Date: Sun, 16 Aug 2026 04:42:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.00596
• Title: The Spectral Neuron
• Title（参考訳）: スペクトルニューロン
• Abstract要約: 機械学習モデルが複雑さと表現力を高めるにつれ、より単純なモデルの特徴は失われる。 我々は、学習された実対称行列を持つスカラーモデルである遠近性ニューロンの概念を開発する。 本研究では, このモデルファミリーの係数透過性, 特徴-影響境界, 形状制御特性について検討し, 実際に学習し, 拡張できるかどうかを検証した。
• 参考スコア（独自算出の注目度）: 0.7163391346004578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learned models increase in complexity and expressive power, features of simpler models, such as intrinsic coefficient transparency and control over the shape of the modeled function are lost. On the one edge of the spectrum we have simple linear models that possess coefficient transparency, but have a limited expressive power. On the other edge we have neural networks, that have expressive power that improves with scaling, but are mostly opaque. In this work we develop the \emph{spectral neuron} concept: a scalar model given by $f(x)=λ_k (A_0 + A_1 x + ... + A_n x_n)$, with learned real symmetric matrices $A_0, ..., A_n$. The input enters the model through an affine matrix function, but the prediction is obtained by reading one of its eigenvalues. Thus, the model is nonlinear, but the source of nonlinearity is still mathematically explicit. This gives us a useful middle ground: the model can become more expressive as the matrix dimension grows, while retaining coefficient transparency through the learned matrices. For example, extremal eigenvalues yield convex or concave functions, semidefinite constraints on the coefficient matrices impose monotonicity, and the associated eigenspaces characterize local feature influence. We study coefficient transparency, feature-influence bounds, and shape-control properties of this model family, and then test whether it can be learned and scaled in practice. We develop a systematic study of this model family, bringing together spectral results from several mathematical literatures to characterize its expressivity, coefficient transparency, feature influence, and shape-control properties. Code available at https://github.com/alexshtf/spectral_neuron_paper.
• Abstract（参考訳）: 機械学習モデルが複雑性と表現力を増加させるにつれて、本質的な係数の透明性やモデル関数の形状の制御といった、より単純なモデルの特徴が失われる。 スペクトルの片端には、係数透過性を持つ単純な線形モデルがあるが、表現力は限られている。 一方のエッジには、スケーリングによって改善される表現力を持つニューラルネットワークがありますが、ほとんどが不透明です。 本研究では、学習された実対称行列を$A_0, ..., A_n$で、$f(x)=λ_k (A_0 + A_1 x + ... + A_n x_n)$で与えられるスカラーモデルである。 入力はアフィン行列関数を介してモデルを入力するが、予測はその固有値の1つを読むことによって得られる。 したがって、モデルは非線形であるが、非線形性の起源はまだ数学的に明らかである。 モデルは行列次元が大きくなるにつれてより表現力が高くなり、学習された行列を通して係数の透明性を維持することができる。 例えば、極値固有値は凸関数や凹函数、係数行列上の半定値制約は単調性を課し、関連する固有空間は局所的特徴の影響を特徴づける。 本研究では, このモデルファミリーの係数透過性, 特徴-影響境界, 形状制御特性について検討し, 実際に学習し, 拡張できるかどうかを検証した。 我々は,このモデルファミリーの体系的な研究を行い,その表現性,係数透過性,特徴の影響,形状制御特性を特徴付けるために,いくつかの数学文献のスペクトル結果をまとめる。 コードはhttps://github.com/alexshtf/spectral_neuron_paperで公開されている。

関連論文リスト

• Polyconvex Physics-Augmented Neural Network Constitutive Models in Principal Stretches [0.0]
  凸関数は二階対称関数で記述できることを示す。 モデルが任意の物質を捕獲する能力は, 合成データと実験データを用いて実証した。
  論文  参考訳（メタデータ） (2025-03-01T17:55:09Z)
• Low-Rank Matrix Factorizations with Volume-based Constraints and Regularizations [2.6687460222685226]
  この論文は、解釈可能性と特異性を高めるために設計されたボリュームベースの制約と正規化に焦点を当てている。 ブラインドソース分離やデータ計算の欠如といったアプリケーションによって動機付けられたこの論文は、効率的なアルゴリズムも提案している。
  論文  参考訳（メタデータ） (2024-12-09T10:58:23Z)
• Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
  行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。 我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。 可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:52:23Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• Quantized Fourier and Polynomial Features for more Expressive Tensor Network Models [9.18287948559108]
  モデル重みを過度にパラメータ化されたテンソルネットワークに制約することで,特徴量に存在するテンソル構造を利用する。 同じ数のモデルパラメータに対して、結果の量子化モデルは、その非量子化モデルとは対照的に、VC次元に高いバウンドを持つことを示す。
  論文  参考訳（メタデータ） (2023-09-11T13:18:19Z)
• The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
  本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。 実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
  論文  参考訳（メタデータ） (2023-02-02T05:00:29Z)
• A simple probabilistic neural network for machine understanding [0.0]
  本稿では,機械理解のためのモデルとして,確率的ニューラルネットワークと内部表現の固定化について論じる。 内部表現は、それが最大関係の原理と、どのように異なる特徴が組み合わされるかについての最大無知を満たすことを要求して導出する。 このアーキテクチャを持つ学習機械は、パラメータやデータの変化に対する表現の連続性など、多くの興味深い特性を享受している、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-24T13:00:15Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Curvature-informed multi-task learning for graph networks [56.155331323304]
  最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。 この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
  論文  参考訳（メタデータ） (2022-08-02T18:18:41Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。