論文の概要: How Linear Is a Transformer Feed-Forward Block? Per-Block Linear Recoverability Is Learned, Not Architectural

• arxiv url: http://arxiv.org/abs/2606.19379v1
• Date: Fri, 12 Jun 2026 10:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.42213
• Title: How Linear Is a Transformer Feed-Forward Block? Per-Block Linear Recoverability Is Learned, Not Architectural
• Title（参考訳）: リニアはいかにトランスフォーマーフィードフォワードブロックか?
• Authors: Stuart Whipp,
• Abstract要約: トランスフォーマーフィードフォワードネットワーク(FFN)は、しばしば非線形計算のストアとして扱われる。 FFNブロックが実際にどれだけ非線形であるかは、ほとんど測定されていない。 GPT-2、Pythia-160m、llama-160mの12ブロックにわたって、R2_linは高度に均一であり、深さのモノトンではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer feed-forward networks (FFNs) are often treated as nonlinear stores of computation, yet how nonlinear a trained FFN block actually is has rarely been measured. We treat each FFN as a position-wise input-to-output map and split it into the exact least-squares linear approximation plus a residual. The held-out variance the closed-form linear map explains defines a block's linear recoverability (R^2_lin), an optimiser-free measure of its linearity. Across all twelve blocks of GPT-2, Pythia-160m, and llama-160m, R^2_lin is highly heterogeneous and non-monotone with depth, ranging from near-linear (>0.99) to strongly nonlinear (<0.3) between adjacent blocks, and is not set by the activation function: same-width GELU models GPT-2 and Pythia-160m have sharply different profiles, so recoverability is a learned property of individual trained blocks, not an architectural one. A low-rank bilinear probe of the residual recovers only a few points of R^2, with gain uncorrelated with residual nonlinearity: the unrecovered computation is not a single position-wise product but higher-order or distributed structure. The measurement also serves as a targeted compression signal: recoverable blocks admit large single-layer replacements (GPT-2's early FFN at 8x fewer parameters for +0.77 perplexity), while low-recoverability blocks flag where this is unsafe. It further exposes a methodological pitfall: trained linear baselines can badly under-converge on ill-conditioned transformer activations, so we report the exact closed-form least-squares ceiling throughout.
• Abstract（参考訳）: トランスフォーマーフィードフォワードネットワーク(FFN)は、しばしば非線形な計算のストアとして扱われるが、実際にトレーニングされたFFNブロックがいかに非線形であるかは、ほとんど測定されていない。 それぞれのFFNを位置対応の入出力マップとして扱い、それを最小二乗線形近似と残差に分割する。 閉形式線型写像のホールドアウト分散は、ブロックの線形回復可能性 (R^2_lin) を定義する。 GPT-2, Pythia-160m, および llama-160m の12ブロックにわたって、R^2_lin は、隣接するブロック間のニア線形(>0.99)から強い非線形 (<0.3) まで高度に不均一であり、アクティベーション関数によって設定されていない。 残差の低ランク双線型プローブはR^2のほんの数点しか回復せず、残差非線形性とは無関係である。 回復可能なブロックは大きな単一層置換(GPT-2の初期のFFNは+0.77パープレクシリティのパラメータが8倍少ない)を認め、低回復性ブロックは安全でない。 訓練された線形基底線は、不条件の変圧器のアクティベーションにひどく過度に収束しうるので、我々は、正確な閉形最小二乗天井について報告する。

関連論文リスト

• Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
  本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。 合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
  論文  参考訳（メタデータ） (2026-05-25T07:08:57Z)
• Linear-Readout Floors and Threshold Recovery in Computation in Superposition [0.0]
  重ね合わせにおける計算に対する最近の2つのアプローチは、異なるキャパシティレジームに到達している。 これらの結果は異なるインターフェース不変性を維持するため矛盾しない。 Hnniテンプレート以外のロバストな非線形リセットは開のままである。
  論文  参考訳（メタデータ） (2026-05-02T02:11:31Z)
• Variance Is Not Importance: Structural Analysis of Transformer Compressibility Across Model Scales [0.0]
  スペクトル圧縮,ブロックレベル関数置換,回転ベース量子化,アクティベーション幾何,適応早期出口について検討した。 圧縮に関連する5つの構造特性を同定する。
  論文  参考訳（メタデータ） (2026-04-22T15:31:46Z)
• Conservation Law Breaking at the Edge of Stability: A Spectral Theory of Non-Convex Neural Network Optimization [0.0]
  非次元ネットワーク最適化において、勾配勾配勾配が確実に良い解となることを示す。 幅依存性の動的遷移によって分離された2つの規則を同定する。 全ての予測は23の実験で検証される。
  論文  参考訳（メタデータ） (2026-04-08T10:41:24Z)
• SVG-EAR: Parameter-Free Linear Compensation for Sparse Video Generation via Error-aware Routing [77.91660464664615]
  Diffusion Transformers (DiTs) はビデオ生成において主要なバックボーンとなっているが、その二次的注意コストは依然として大きなボトルネックとなっている。 本稿では,不足しているコントリビューションをトレーニングなしで回収できることを示す。 パラメータフリーな線形補償分岐であるSVG-EARを導入する。
  論文  参考訳（メタデータ） (2026-03-09T22:15:31Z)
• Fast and Exact Least Absolute Deviations Line Fitting via Piecewise Affine Lower-Bounding [0.509780930114934]
  Laast-absolute-deviations (LAD) ラインフィッティングは、外れ値に対して堅牢であるが、最小二乗回帰よりも計算的により複雑である。 LADラインフィッティングの正確なアルゴリズムであるPiecewise Affine Lower-Bounding (PALB)法を提案する。 LPベースの実装やIRLSベースの解決器よりも一貫して高速である。
  論文  参考訳（メタデータ） (2025-12-22T10:18:38Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Poly-NL: Linear Complexity Non-local Layers with Polynomials [76.21832434001759]
  性能を損なわずに2次から線形に複雑性を低減できる新しい高速非局所ブロックを定式化する。 The proposed method, we dub that "Poly-NL" is competitive to state-of-the-art performance across image recognition, instance segmentation, and face detection task。
  論文  参考訳（メタデータ） (2021-07-06T19:51:37Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Scaling the Convex Barrier with Sparse Dual Algorithms [141.4085318878354]
  本稿では,ニューラルネットワークバウンダリングのための2つの新しい2重アルゴリズムを提案する。 どちらの方法も新しい緩和の強さを回復する: 厳密さと線形分離オラクル。 実行時間のほんの一部で、既製のソルバよりも優れた境界を得ることができます。
  論文  参考訳（メタデータ） (2021-01-14T19:45:17Z)
• Linear Regression without Correspondences via Concave Minimization [24.823689223437917]
  信号は、対応のない線形回帰設定で復元される。 関連する最大可能性関数は、信号が1より大きい次元を持つとき、NPハードで計算する。 我々はこれを凹凸最小化問題として再定義し、分岐とバウンドによって解決する。 結果として得られたアルゴリズムは、完全にシャッフルされたデータに対して最先端の手法より優れており、最大8ドルの信号で抽出可能である。
  論文  参考訳（メタデータ） (2020-03-17T13:19:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。