論文の概要: Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget

• arxiv url: http://arxiv.org/abs/2603.03459v1
• Date: Tue, 03 Mar 2026 19:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.062804
• Title: Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget
• Title（参考訳）: 非線形性の半分は無駄にされる:トランスフォーマーのMLP予算の測定と再配置
• Abstract要約: 変圧器の非線形性が実際に必要である場合について検討する。 d+1$パラメータを持つゲートは、フルをリニアサロゲートに置き換えるタイミングを決定する。 トークンの同一性から非線形性を予測できないことが分かる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate when transformer MLP nonlinearity is actually necessary. A gate with $d+1$ parameters decides when to replace the full MLP with a linear surrogate. Through systematic investigation across six models (162M-2.8B parameters), two architectures, and three corpora, we establish that nonlinearity need cannot be predicted from token identity: cross-corpus correlation is zero ($r < 0.05$). The routing decision is fully contextual. Despite weak per-instance predictability, the gate exploits a heavily skewed distribution where most MLP computations are near-linear, achieving 25-56% linear routing at <1% perplexity cost in GPT-2. In GPT-2 Large, 11 of 36 layers beat baseline with gating and no layer exceeds 3.7% all-linear cost. This success is architecture-dependent: Pythia models show higher costs, though Pythia-2.8B's full 32-layer sweep reveals one layer that narrowly beats baseline. As a proof of concept, we progressively replace middle-layer MLPs with frozen linear matrices: 5 of 24 layers linearize at zero cost. With a full training budget, 4 linearized layers yield a 10.2% perplexity improvement -- and a two-phase gated approach pushes this to 17.3%, beating a vanilla fine-tuning control and confirming that the nonlinear MLPs at these layers were actively harmful.
• Abstract（参考訳）: 変圧器のMLP非線形性が実際に必要である場合について検討する。 $d+1$パラメータを持つゲートは、完全なMLPをリニアサロゲートに置き換えるタイミングを決定する。 6つのモデル(162M-2.8Bパラメータ)、2つのアーキテクチャ、3つのコーパスの体系的な調査により、トークンの同一性から非線形性を予測できないことが判明した: クロスコーパス相関はゼロ(r < 0.05$)である。 ルーティングの決定は、完全にコンテキスト的です。 不安定なインスタンスごとの予測性にもかかわらず、ゲートは、ほとんどのMLP計算がほぼ直線的であり、GPT-2の1%パープレキシティコストで25～56%の線形ルーティングを実現している、非常に歪んだ分布を利用する。 GPT-2 大型の36層のうち11層はゲーティングでベースラインを破り、全線費用の3.7%を超えない。 この成功はアーキテクチャに依存しており、Pythiaモデルはより高いコストを示すが、Pythia-2.8Bのフル32層スイープはベースラインをわずかに上回っている。 概念実証として,24層のうち5層はゼロコストで線形化され,中間層MLPを凍結線形行列に徐々に置き換える。 完全なトレーニング予算で、4つの線形化されたレイヤが10.2%のパープレキシティ改善を達成し、2フェーズのゲートアプローチがこれを17.3%にプッシュし、バニラの微調整コントロールを破り、これらのレイヤの非線形MLPがアクティブに有害であることを確認した。

関連論文リスト

• Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
  厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。 我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。 Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
  論文  参考訳（メタデータ） (2026-09-01T05:52:38Z)
• The Intruder Threshold: A Spectral Law for LoRA Fine-Tuning [3.860898721527665]
  LoRAファインチューニングは、破滅的な忘れを誘う侵入者次元を生み出すことができる。 観測されたスペクトルの層ごとに層が現れると予測される理論は存在しない。 完全な微調整は、すべてのレイヤのしきい値よりはるかに低いアップデートを分散させる。 Norm-matchedの介入は、更新の規模ではなく、しきい値の交差する層が忘れを伴っていることを確認します。
  論文  参考訳（メタデータ） (2026-07-26T15:17:41Z)
• How Linear Is a Transformer Feed-Forward Block? Per-Block Linear Recoverability Is Learned, Not Architectural [0.0]
  トランスフォーマーフィードフォワードネットワーク(FFN)は、しばしば非線形計算のストアとして扱われる。 FFNブロックが実際にどれだけ非線形であるかは、ほとんど測定されていない。 GPT-2、Pythia-160m、llama-160mの12ブロックにわたって、R2_linは高度に均一であり、深さのモノトンではない。
  論文  参考訳（メタデータ） (2026-06-12T10:39:39Z)
• YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition [78.52944812151664]
  大きな言語モデル(LLM)は、大きな金融革新をもたらすが、そのデプロイメントはKVキャッシュメモリのオーバーヘッドによってボトルネックになる。 我々は,Huawei Ascendエコシステム上に構築された包括的な構造遷移とトレーニングパイプラインによって強化された,高効率な金融LLMであるYouZhi-LLMを提案する。
  論文  参考訳（メタデータ） (2026-06-04T08:44:37Z)
• Linearizing Vision Transformer with Test-Time Training [54.52616866374482]
  事前訓練されたトランスフォーマーからウェイトを継承することは、魅力的なショートカットを提供するが、ソフトマックスと線形アテンションの基本的な表現的ギャップは、効果的なウェイト転送を妨げている。 テスト時間トレーニング(TTT)は2層動的定式化がSoftmaxの注意と構造的に一致している線形複雑アーキテクチャである。 安定拡散3.5を線形化して、SD3.5-T$5$(Transformer to Test Time Training)を導入することで、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2026-05-04T16:16:26Z)
• THEIA: Learning Complete Kleene Three-Valued Logic in a Pure-Neural Modular Architecture [0.0]
  THEIAは2.75Mのモジュラー・ニューラルアーキテクチャで、外部のシンボル推論や手書きのK3ゲートプリミティブを使わずにタスクデータから完全Kleene 3値論理(K3)真理表を学習する。 トランスフォーマーのベースラインは39の規則すべてで99%に到達し、フラットは0.04pp以内のフェーズ1の精度でTheIAと一致している。
  論文  参考訳（メタデータ） (2026-04-13T10:44:15Z)
• The Discrete Charm of the MLP: Binary Routing of Continuous Signals in Transformer Feed-Forward Layers [0.0]
  言語モデルの層が連続的な信号のバイナリルーティングを行うことを示す。 特定のニューロンは93-98%の相互排他的なコンセンサスアーキテクチャを実装している。 本稿では,ディープネットワークの高機能な特徴付けをルーティング特徴付けによって補うことを提案する。
  論文  参考訳（メタデータ） (2026-03-11T17:14:57Z)
• Revisiting Weighted Strategy for Non-stationary Parametric Bandits and MDPs [56.246783503873225]
  本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。 本稿では,ウィンドウ/リスタートベースアルゴリズムと同様に,より単純な重みに基づくアルゴリズムを提案する。 我々のフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
  論文  参考訳（メタデータ） (2026-01-03T04:50:21Z)
• MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
  大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。 MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。 本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
  論文  参考訳（メタデータ） (2025-11-26T06:14:26Z)
• The Structural Scalpel: Automated Contiguous Layer Pruning for Large Language Models [33.90597962418094]
  大規模言語モデルのための新しい連続層プルーニングフレームワークであるCLPを提案する。 CLPは、プルーニングに最適な連続層セグメントを自動的に識別する、微分可能な凹面ゲートアルゴリズムを使用している。 CLPは量子化とシームレスに結合して、わずかな性能損失だけでモデルをさらに圧縮することができる。
  論文  参考訳（メタデータ） (2025-10-25T16:40:17Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
  本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。 私たちのフレームワークは4つの重要なコンポーネントを強調しています。 逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて 特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• One Step of Gradient Descent is Provably the Optimal In-Context Learner with One Layer of Linear Self-Attention [31.522320487765878]
  最近の研究は、文脈内学習を実証的に分析している。 線形自己アテンションを持つ一層変圧器は勾配降下の一段階を実装することを学習する。
  論文  参考訳（メタデータ） (2023-07-07T13:09:18Z)
• TriMLP: Revenge of a MLP-like Architecture in Sequential Recommendation [23.32537260687907]
  本稿では,TriMLPという逐次レコメンデーションのためのシーケンシャルなアーキテクチャと,クロストークン通信のための新しい三角形ミキサーを提案する。 三角ミキサーの設計において,基本行列乗算としてのクロストケン操作のイナシイを単純化し,重み行列の下方三角形ニューロンを落として,反時間次接続を将来のトークンからブロックする。
  論文  参考訳（メタデータ） (2023-05-24T03:32:31Z)
• Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency [90.40062452292091]
  本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。 我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。 また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-21T00:17:24Z)
• Variance-Aware Confidence Set: Variance-Dependent Bound for Linear Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
  線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。 線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。 線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
  論文  参考訳（メタデータ） (2021-01-29T18:57:52Z)
• PlueckerNet: Learn to Register 3D Line Reconstructions [57.20244406275875]
  本稿では,ユークリッド空間における2つの部分重畳された3次元線再構成の問題をニューラルネットワークで解く手法を提案する。 室内および屋外の両方のデータセットを用いた実験により,本手法の登録精度(回転と翻訳)は,ベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2020-12-02T11:31:56Z)
• From Two-Class Linear Discriminant Analysis to Interpretable Multilayer Perceptron Design [31.446335485087758]
  2クラス線形判別式解析(LDA)における閉形式解の存在 多層パーセプトロン(MLP)を2クラスLDAシステムの一般化として解釈する。 フィードフォワードのワンパス方式でネットワークアーキテクチャと全フィルタ重みを指定できる自動設計を提案する。
  論文  参考訳（メタデータ） (2020-09-09T17:43:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。