論文の概要: A Structural Interpretation of GELU and Threshold-Transmission Activations via the First-Order Loss Function

• arxiv url: http://arxiv.org/abs/2607.03664v1
• Date: Sat, 04 Jul 2026 02:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.678128
• Title: A Structural Interpretation of GELU and Threshold-Transmission Activations via the First-Order Loss Function
• Title（参考訳）: 1次損失関数によるGELUとThreshold-Transmission Activationの構造解釈
• Abstract要約: この研究はガウス補一階損失関数 GELU に基づく補的解釈を与える。 損失会計を前方信号送信から切り離し、ReLU、GELU、SiLU/Swish、ハードスウィッシュを含む閾値伝達ファミリーに一般化する。 コンパクトビジョンと言語モデルに関する制御された実験は、一様閾値ゲートがGELU、ReLU、SiLU/Swishと一貫して競合していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Gaussian Error Linear Unit is usually motivated as the expected output of an input-dependent stochastic Bernoulli gate. This work gives a complementary interpretation based on the Gaussian complementary first-order loss function: GELU is the signal-transmission term of the expected surplus of a hard linear gate with a Gaussian random threshold. This view separates loss accounting from forward signal transmission and generalises to a threshold-transmission family that includes ReLU, GELU, SiLU/Swish, and hard swish as special cases. The uniform-threshold case recovers a hard-swish-like compact piecewise-polynomial gate with an explicit threshold-width parameter, yielding fixed- and learned-width variants. Controlled experiments on compact vision and language models show that calibrated or learned uniform-threshold gates are consistently competitive with GELU, ReLU, and SiLU/Swish, improve over them in most tested settings, and use the finite transition region nontrivially.
• Abstract（参考訳）: ガウス誤差線形単位は、通常入力依存確率的ベルヌーイゲートの出力として動機付けられる。 GELUはガウスのランダムしきい値を持つハードリニアゲートの余剰量の信号伝達項である。 この見解は、損失計算を前方信号送信から切り離し、ReLU、GELU、SiLU/Swishを含むしきい値送信ファミリに一般化する。 均一保持ケースは、明確なしきい値幅パラメータを持つハードスウィッシュのようなコンパクトなポリノミカルゲートを復元し、固定幅および学習幅の変種を生成する。 コンパクトビジョンと言語モデルに関する制御された実験により、校正または学習された一様閾値ゲートはGELU、ReLU、SiLU/Swishと一貫して競合し、ほとんどのテスト環境でそれらを改善し、有限遷移領域を非自明に使用することを示した。

関連論文リスト

• LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
  フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる 既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。 本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T04:47:57Z)
• Unitary Designs from Doped Matchgate Circuits [0.0]
  非ガウスゲートを物理的にドーピングすることで制御経路を研究する。 非ガウス門数が少ない多対数深度におけるパリティ保存の約2$-designsを見いだす。 本研究は,自由フェルミオンから相互作用生成量子設計への制御された解析可能な経路として,ドープ整合回路を構築した。
  論文  参考訳（メタデータ） (2026-06-22T18:00:04Z)
• Coverage Analysis of Rydberg Atom Quantum Receiver Arrays: A Stochastic Geometry Approach [55.47164192369501]
  ライドバーグ原子量子受信機(RAQR)は、量子制限感度とブロードバンドチューナビリティを提供する。 密集した展開において、集合的干渉は原子トランスデューサを小さな信号状態から外すことができる。 本稿では、RAQRフロントエンドを幾何学的カバレッジ分析に埋め込むことで、この問題に対処する。
  論文  参考訳（メタデータ） (2026-05-22T04:05:13Z)
• λ-GELU: Learning Gating Hardness for Controlled ReLU-ization in Deep Networks [1.1145952934885128]
  Gaussian Error Linear Unit (GELU) はRectifier Linear Unit (ReLU) のスムーズな代替品として広く使われている。 -GELUは、ゲーティングの硬さをプロファイルし制御するための最小限の解釈可能なノブを提供する。 全体として、 -GELUは、ゲーティングの硬さをプロファイルし制御するための最小限の、解釈可能なノブを提供し、ReLU中心の下流パイプラインによるスムーズなトレーニングをブリッジする。
  論文  参考訳（メタデータ） (2026-03-23T13:58:19Z)
• Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
  一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。 この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2026-03-16T16:18:18Z)
• IGLU: The Integrated Gaussian Linear Unit Activation Function [13.305282275999778]
  半正規混合分布の下でGELUゲートのスケール混合として導出されるパラメトリック活性化関数IGLUを導入する。 IGLUは、ReLUとGELUのベースラインに対して、視覚と言語データセットの両方において、競争力または優れた性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-03-06T20:28:08Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• A Concatenated Dual Displacement Code for Continuous-Variable Quantum Error Correction [4.486796752191548]
  この研究は、フォールトトレラントな連続量子計算への実行可能な経路を確立する。 可変CVエラー修正アーキテクチャの設計に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-11-29T13:24:40Z)
• Engineered Robustness for Nonadiabatic Geometric Quantum Gates [4.88863227820264]
  非断熱幾何学的量子ゲート(NGQG)のための合理化フレームワークを提案する。 このフレームワーク内では、非循環経路を用いてNGQGを設計し、設計の柔軟性を向上する。 本結果は,2ビットシナリオにおける性能を損なう微妙な制限を識別する。
  論文  参考訳（メタデータ） (2025-11-06T09:54:02Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Context-aware gate set tomography: Improving the self-consistent characterization of trapped-ion universal gate sets by leveraging non-Markovianity [45.88028371034407]
  ゲートセットトモグラフィ(GST)は、ノイズの多い量子ゲート、状態準備、測定の完全なセットを推定する。 当初、GSTはゲートを順次適用することで推定精度を向上させる。 ゲートセットのパラメトリゼーションにコンテキスト依存を組み込むことで, GSTのサンプリングコストを低減できることを示す。
  論文  参考訳（メタデータ） (2025-07-03T11:37:36Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Control landscapes for high-fidelity generation of C-NOT and C-PHASE gates with coherent and environmental driving [41.94295877935867]
  環境下でC-Zゲートを詳細に検討した2ビットC-NOTとC-PHASEの高忠実度発生問題について考察する。 本研究では, 忠実度の挙動を制御の関数として記述した量子制御環境について検討する。
  論文  参考訳（メタデータ） (2024-05-23T00:04:19Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Robustness of a universal gate set implementation in transmon systems via Chopped Random Basis optimal control [50.591267188664666]
  CNOT, Hadamard, phase と $pi/8$ gates から構成される汎用2量子ゲートセットのトランスモン系システムに対する実装を数値解析的に検討する。 このようなゲートを実装するための制御信号は、目標ゲート不忠実度が10-2$のチョッペランダムバス最適制御技術を用いて得られる。
  論文  参考訳（メタデータ） (2022-07-27T10:55:15Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。