論文の概要: The Discrete Charm of the MLP: Binary Routing of Continuous Signals in Transformer Feed-Forward Layers

• arxiv url: http://arxiv.org/abs/2603.10985v1
• Date: Wed, 11 Mar 2026 17:14:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:33.072981
• Title: The Discrete Charm of the MLP: Binary Routing of Continuous Signals in Transformer Feed-Forward Layers
• Title（参考訳）: MLPの離散チャーム:変圧器フィードフォワード層における連続信号のバイナリルーティング
• Abstract要約: 言語モデルの層が連続的な信号のバイナリルーティングを行うことを示す。 特定のニューロンは93-98%の相互排他的なコンセンサスアーキテクチャを実装している。 本稿では,ディープネットワークの高機能な特徴付けをルーティング特徴付けによって補うことを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that MLP layers in transformer language models perform binary routing of continuous signals: the decision of whether a token needs nonlinear processing is well-captured by binary neuron activations, even though the signals being routed are continuous. In GPT-2 Small (124M parameters), we find that specific neurons implement a consensus architecture -- seven "default-ON" neurons and one exception handler (N2123 in Layer 11) that are 93-98% mutually exclusive -- creating a binary routing switch. A cross-layer analysis reveals a developmental arc: early layers (L1-3) use single gateway neurons to route exceptions without consensus quorums; middle layers (L4-6) show diffuse processing with neither gateway nor consensus; and late layers (L7-11) crystallize full consensus/exception architectures with increasing quorum size (1 to 3 to 7 consensus neurons). Causal validation confirms the routing is functional: removing the MLP at consensus breakdown costs 43.3% perplexity, while at full consensus removing it costs only 10.1% -- exceeding a 4x difference. Comparing binary vs. continuous features for the routing decision confirms that binarization loses essentially no information (79.2% vs. 78.8% accuracy), while continuous activations carry additional magnitude information (R^2 = 0.36 vs. 0.22). This binary routing structure explains why smooth polynomial approximation fails: cross-validated polynomial fits (degrees 2-7) never exceed R^2 = 0.06 for highly nonlinear layers. We propose that the well-established piecewise-affine characterization of deep networks can be complemented by a routing characterization: along the natural data manifold, the piecewise boundaries implement binary decisions about which tokens need nonlinear processing, routing continuous signals through qualitatively different computational paths.
• Abstract（参考訳）: 本稿では,変換言語モデルにおけるMLP層が連続信号のバイナリルーティングを行うことを示す。 GPT-2 Small (124Mパラメータ)では、特定のニューロンがコンセンサスアーキテクチャ – 7つの"デフォルトON"ニューロンと1つの例外ハンドラ (レイヤ11ではN2123) – を実装していることが分かる。 初期の層 (L1-3) はコンセンサスクォーラムなしで例外をルーティングするために単一ゲートウェイニューロンを使用し、中層 (L4-6) はゲートウェイもコンセンサスも含まない拡散処理を示し、後期層 (L7-11) はクォーラムサイズの増大とともに完全なコンセンサス/例外アーキテクチャを結晶化する。 因果検証(Causal validation)は、ルーティングが機能的であることを確認する: コンセンサス分解コスト43.3%のパープレキシティを除去する一方で、完全なコンセンサス除去コストは10.1%で、差は4倍を超えている。 経路決定のバイナリと連続的な特徴を比較すると、二項化は基本的に情報を失う(79.2%対78.8%の精度)のに対し、連続的なアクティベーションは追加の等級情報を運ぶ(R^2 = 0.36 vs. 0.22)。 このバイナリルーティング構造は、なぜ滑らかな多項式近似が失敗するのかを説明している: クロスバリデード多項式は、高非線形層に対してR^2 = 0.06を超えない(次数 2-7)。 自然データ多様体では, トークンがどの非線形処理を必要とするか, 定性的に異なる計算経路を通して連続的な信号をルーティングするか, という二項決定を実装している。

関連論文リスト

• A*-Thought-V2: Efficient Latent Reasoning via Geometric Dynamics of LLM [40.07171947823021]
  CoT(Chain-of-Thought)は、LLM(Large Language Models)の推論能力を改善するが、かなりの計算とコンテキストコストを発生させる。 A*-Thought-V2 は LLM ガイドフレームワークの幾何学的ダイナミクスであり,COT を隠れ状態軌道としてモデル化し,ハード削除を明示的かつ単純でインターリーブな潜在アーキテクチャに置き換える。
  論文  参考訳（メタデータ） (2026-09-07T17:56:20Z)
• Long-Range Indirect Control-Flow Prediction in Stripped Binaries via Dual Virtual Hubs and Multi-Task Graph Learning [44.79384874347874]
  本稿では,長い範囲のIDF予測を行う統合フレームワークICFlowNetを提案する。 ICFlowNetは、候補を意識したDual Virtual Hubs、Global Code Hub、Global Data Hubを導入している。 また,パッケージレベルの分割,関数レベルのmnemonic-hash重複,クリーンなテストプロトコルを備えた,リーク対応のノイズ制御パイプラインを開発した。
  論文  参考訳（メタデータ） (2026-09-03T02:17:23Z)
• NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation [0.8122270502556375]
  本稿では,同期層間処理を非同期遅延による信号伝達に置き換えるニューラルネットワークアーキテクチャであるNeuronSoupを提案する。 アーキテクチャ全体は、14,602の遺伝子からなるフラットな実数値ゲノム上で動作する遺伝的アルゴリズムによって、共進化している。 凍結したResNet18特徴を用いた10クラスのMNIST桁分類では、266個の隠されたニューロンを通した204個のアクティブパスのネットワークを進化させる。
  論文  参考訳（メタデータ） (2026-07-16T17:18:59Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs [9.127363793428119]
  摂動探索は、大規模言語モデルにおけるFFNニューロンに対するタスク特異的因果仮説を生成する。 8つの動作回路、13のモデル、および4つのアーキテクチャファミリにまたがって、LLMの動作を整理する2つの回路構造を同定する。
  論文  参考訳（メタデータ） (2026-04-30T04:13:33Z)
• Darkness Visible: Reading the Exception Handler of a Language Model [0.0]
  GPT-2は、構文構造ではなくトークンレベルの予測可能性で動作する例外ハンドラと、直ちに動詞のサブカテゴリ化を使用する。 このアーキテクチャは終端層のみを結晶化します -- より深いモデルでは、最終層において、第11層ではなく、等価な構造を予測します。
  論文  参考訳（メタデータ） (2026-04-06T15:24:05Z)
• When Does Content-Based Routing Work? Representation Requirements for Selective Attention in Hybrid Sequence Models [0.0]
  ハイブリッドリカレントアテンションアーキテクチャにおけるルーティングパラドックスを同定する。 コンテンツベースのルーティングは、ルーティングが避けるように設計されたペアワイズな計算を必要とすることを示す。
  論文  参考訳（メタデータ） (2026-03-22T01:04:57Z)
• PolyGLU: State-Conditional Activation Routing in Transformer Feed-Forward Networks [0.0]
  我々は、各FFNニューロンがK=4の活性化関数を動的にルーティングすることを可能にする、SwiGLUのドロップイン置換であるPolyGLUを紹介する。 標準的なベンチマークでは、PlychromaticLMは3,600倍のトークンのトレーニングにもかかわらず、Qwen3-0.6B-Baseのパフォーマンスの62-89%を達成した。
  論文  参考訳（メタデータ） (2026-03-07T10:39:56Z)
• Polynomial Surrogate Training for Differentiable Ternary Logic Gate Networks [3.2249474972573555]
  学習可能な9つの係数を持つ3次ニューロンを次数$(2,2)$で表すPST(Polynomial Surrogate Training)を導入する。 PST はバイナリ DLGN よりも高速に$2-$3times を訓練し、機能的に多様である真の三次ゲートを発見する。
  論文  参考訳（メタデータ） (2026-02-27T20:37:17Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• Differentiable Logic Synthesis: Spectral Coefficient Selection via Sinkhorn-Constrained Composition [0.0]
  凍結フーリエ基底からスペクトル係数を選択する微分可能なアーキテクチャである階層スペクトル合成を導入する。 我々はこのフレームワークを論理合成に適用し、ブール否定を可能にするカラムサイン変調を追加する。
  論文  参考訳（メタデータ） (2026-01-20T13:26:52Z)
• Automated Circuit Interpretation via Probe Prompting [0.0]
  本稿では、帰属グラフをコンパクトで解釈可能な部分グラフに変換する自動パイプラインであるプローブプロンプトを提案する。 5つのプロンプトにまたがって、プローブプロンプトされたサブグラフは、複雑さを圧縮しながら高い説明的カバレッジを保っている。 幾何学的クラスタリングベースラインと比較すると、概念整列群はより高い行動コヒーレンスを示す。
  論文  参考訳（メタデータ） (2025-11-10T11:53:36Z)
• Environment-Aware Indoor LoRaWAN Path Loss: Parametric Regression Comparisons, Shadow Fading, and Calibrated Fade Margins [3.776919981139063]
  内部のLoRaWAN伝播は、構造的および時間的変化の文脈因子によって形成される。 リークセーフなクロスバリデーションを用いて評価した,環境に配慮した統計的に規律のある経路損失フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-05T20:14:48Z)
• Robust Residual Finite Scalar Quantization for Neural Compression [46.574899938569125]
  有限スカラー量子化(FSQ)は、簡易なトレーニングを提供するが、多段階設定での残留等級劣化に悩まされる。 本稿では,2つの新しい条件付け手法を用いて,この基本的な制限に対処するロバスト残留有限スカラー量子化(RFSQ)を提案する。 RFSQの有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2025-08-20T15:18:59Z)
• Towards Accurate Binary Neural Networks via Modeling Contextual Dependencies [52.691032025163175]
  既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。 本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
  論文  参考訳（メタデータ） (2022-09-03T11:51:04Z)
• Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
  長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。 本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
  論文  参考訳（メタデータ） (2022-08-28T17:50:19Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。