論文の概要: A Structural Interpretation of GELU and Threshold-Transmission Activations via the First-Order Loss Function

• arxiv url: http://arxiv.org/abs/2607.03664v2
• Date: Fri, 10 Jul 2026 21:53:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.248185
• Title: A Structural Interpretation of GELU and Threshold-Transmission Activations via the First-Order Loss Function
• Title（参考訳）: 1次損失関数によるGELUとThreshold-Transmission Activationの構造解釈
• Authors: Roberto Rossi,
• Abstract要約: ガウス誤差線形単位は、通常入力依存ベルヌーイゲートの出力として動機付けられる。 この研究は別の解釈を与える: GELU はガウス的ランダムしきい値を持つ硬線型ゲートの期待出力である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Gaussian Error Linear Unit is usually motivated as the expected output of an input-dependent Bernoulli gate. This work gives an alternative interpretation: GELU is the expected output of a hard linear gate with a Gaussian random threshold. This view provides a generative interpretation for the Bernoulli gate: the gate opens once the input clears a latent Gaussian threshold. This interpretation stems from a decomposition based on well-known results in stochastic inventory theory and leads to a threshold-transmission family that includes ReLU, GELU, SiLU/Swish, and hard swish as special cases. By considering a latent uniform threshold, we recover a hard-swish-like piecewise-polynomial gate whose nonlinear transition is confined to a finite interval, yielding fixed- and learned-width variants. Controlled experiments on compact vision and language models show that calibrated or learned uniform-threshold gates are consistently competitive with GELU, ReLU, and SiLU/Swish, improve over them in most tested settings, and use the finite transition region nontrivially.
• Abstract（参考訳）: ガウス誤差線形単位は、通常入力依存ベルヌーイゲートの出力として動機付けられる。 この研究は別の解釈を与える: GELU はガウス的ランダムしきい値を持つ硬線型ゲートの期待出力である。 この見解はベルヌーイ門の生成的解釈を与え、入力が潜在ガウスしきい値をクリアすると門が開く。 この解釈は確率的在庫理論のよく知られた結果に基づいて分解され、ReLU、GELU、SiLU/Swishを含むしきい値伝達系が特別な場合としてハード・スウィッシュとなる。 遅延均一しきい値を考慮することで、非線形遷移が有限間隔に制限され、固定幅および学習幅の変種を生じるハード・スウィッシュ様のポリノミアルゲートを復元する。 コンパクトビジョンと言語モデルに関する制御された実験により、校正または学習された一様閾値ゲートはGELU、ReLU、SiLU/Swishと一貫して競合し、ほとんどのテスト環境でそれらを改善し、有限遷移領域を非自明に使用することを示した。

関連論文リスト

• Coverage Analysis of Rydberg Atom Quantum Receiver Arrays: A Stochastic Geometry Approach [55.47164192369501]
  ライドバーグ原子量子受信機(RAQR)は、量子制限感度とブロードバンドチューナビリティを提供する。 密集した展開において、集合的干渉は原子トランスデューサを小さな信号状態から外すことができる。 本稿では、RAQRフロントエンドを幾何学的カバレッジ分析に埋め込むことで、この問題に対処する。
  論文  参考訳（メタデータ） (2026-05-22T04:05:13Z)
• λ-GELU: Learning Gating Hardness for Controlled ReLU-ization in Deep Networks [1.1145952934885128]
  Gaussian Error Linear Unit (GELU) はRectifier Linear Unit (ReLU) のスムーズな代替品として広く使われている。 -GELUは、ゲーティングの硬さをプロファイルし制御するための最小限の解釈可能なノブを提供する。 全体として、 -GELUは、ゲーティングの硬さをプロファイルし制御するための最小限の、解釈可能なノブを提供し、ReLU中心の下流パイプラインによるスムーズなトレーニングをブリッジする。
  論文  参考訳（メタデータ） (2026-03-23T13:58:19Z)
• IGLU: The Integrated Gaussian Linear Unit Activation Function [13.305282275999778]
  半正規混合分布の下でGELUゲートのスケール混合として導出されるパラメトリック活性化関数IGLUを導入する。 IGLUは、ReLUとGELUのベースラインに対して、視覚と言語データセットの両方において、競争力または優れた性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-03-06T20:28:08Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• A Concatenated Dual Displacement Code for Continuous-Variable Quantum Error Correction [4.486796752191548]
  この研究は、フォールトトレラントな連続量子計算への実行可能な経路を確立する。 可変CVエラー修正アーキテクチャの設計に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-11-29T13:24:40Z)
• Engineered Robustness for Nonadiabatic Geometric Quantum Gates [4.88863227820264]
  非断熱幾何学的量子ゲート(NGQG)のための合理化フレームワークを提案する。 このフレームワーク内では、非循環経路を用いてNGQGを設計し、設計の柔軟性を向上する。 本結果は,2ビットシナリオにおける性能を損なう微妙な制限を識別する。
  論文  参考訳（メタデータ） (2025-11-06T09:54:02Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Context-aware gate set tomography: Improving the self-consistent characterization of trapped-ion universal gate sets by leveraging non-Markovianity [45.88028371034407]
  ゲートセットトモグラフィ(GST)は、ノイズの多い量子ゲート、状態準備、測定の完全なセットを推定する。 当初、GSTはゲートを順次適用することで推定精度を向上させる。 ゲートセットのパラメトリゼーションにコンテキスト依存を組み込むことで, GSTのサンプリングコストを低減できることを示す。
  論文  参考訳（メタデータ） (2025-07-03T11:37:36Z)
• Control landscapes for high-fidelity generation of C-NOT and C-PHASE gates with coherent and environmental driving [41.94295877935867]
  環境下でC-Zゲートを詳細に検討した2ビットC-NOTとC-PHASEの高忠実度発生問題について考察する。 本研究では, 忠実度の挙動を制御の関数として記述した量子制御環境について検討する。
  論文  参考訳（メタデータ） (2024-05-23T00:04:19Z)
• Robustness of a universal gate set implementation in transmon systems via Chopped Random Basis optimal control [50.591267188664666]
  CNOT, Hadamard, phase と $pi/8$ gates から構成される汎用2量子ゲートセットのトランスモン系システムに対する実装を数値解析的に検討する。 このようなゲートを実装するための制御信号は、目標ゲート不忠実度が10-2$のチョッペランダムバス最適制御技術を用いて得られる。
  論文  参考訳（メタデータ） (2022-07-27T10:55:15Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。