論文の概要: Confidence-Adaptive SwiGLU for Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2606.00761v1
• Date: Sat, 30 May 2026 14:58:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.765525
• Title: Confidence-Adaptive SwiGLU for Mixture-of-Experts
• Title（参考訳）: 知識の混合のための信頼適応SwiGLU
• Abstract要約: 信頼を意識したSwiGLUはトークンレベルのルーティング信頼度に応じて専門家のゲートシャープネスを調整する。 $$-SwiGLUは、SiLUゲートシャープネスをルータロジットの学習可能な関数としてパラメータ化する。 $$-SwiGLUは、無視可能なパラメータを追加しながら、平均COREパフォーマンスを改善します。
• 参考スコア（独自算出の注目度）: 27.522987043624237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: SwiGLU has become a standard gated activation in modern Transformer MLPs, yet its gate sharpness -- the smoothness and selectivity of the gating function -- is typically fixed throughout training. In this work, we propose Confidence-Aware SwiGLU ($κ$-SwiGLU), a variant of SwiGLU for Mixture-of-Experts (MoE) models that adjusts expert gate sharpness according to token-level routing confidence. Specifically, $κ$-SwiGLU parameterizes the SiLU gate sharpness coefficient as a learnable function of the router logit, enabling each expert gate unit to interpolate between smooth, broadly active gating and sharp, selective gating. We evaluate $κ$-SwiGLU on the FineWeb-Edu dataset across MoE Transformer models ranging from 8 to 28 layers. Across these settings, $κ$-SwiGLU improves mean CORE performance while adding negligible parameters and incurring only a small computational overhead, demonstrating that confidence-aware gate sharpness is a promising mechanism for improving MoE MLPs. The code is available at https://github.com/askerlee/kappa-swiglu.
• Abstract（参考訳）: SwiGLUは現代のTransformer MLPでは標準のゲートアクティベーションとなっているが、ゲートのシャープさ(ゲーティング関数の滑らかさと選択性)は訓練中は固定されている。 本研究では,トークンレベルのルーティング信頼度に応じて,エキスパートゲートシャープネスを調整するMixture-of-Experts(MoE)モデル用SwiGLUの変種であるConfidence-Aware SwiGLU(κ$-SwiGLU)を提案する。 具体的には、$κ$-SwiGLUはSiLUゲートのシャープネス係数をルータロジットの学習可能な関数としてパラメータ化し、各専門家ゲートユニットがスムーズでより活発なゲーティングとシャープで選択的なゲーティングの間を補間できるようにする。 我々は8層から28層までのMoEトランスフォーマーモデルでFineWeb-Eduデータセット上でκ$-SwiGLUを評価した。 これらの設定全体にわたって、$κ$-SwiGLUは、無視可能なパラメータを追加しながら平均CORE性能を改善し、計算オーバーヘッドを少なくし、信頼性を意識したゲートシャープネスがMoE MLPを改善するための有望なメカニズムであることを実証している。 コードはhttps://github.com/askerlee/kappa-swiglu.comで公開されている。

関連論文リスト

• Is SwiGLU's Open Positive Tail Necessary? Evidence from Closed-Tail Gating with MemGLU [2.4915542959367407]
  我々は、デコーダのみの言語モデルFFNがSwiGLUのオープンポジティテールを必要とするかどうかをテストする。 テストスケールでは、SwiGLUのオープンポジティテールはデコーダのみの言語モデルFFNでは不要である。
  論文  参考訳（メタデータ） (2026-08-07T15:20:24Z)
• More Expressive Feedforward Layers: Part I. Token-Adaptive Mixing of Activations [16.610720814187754]
  本稿では,軽量な入力依存ゲートを用いて,アクティベーション関数の辞書を混合したトークン適応型FFN設計を提案する。 MoAは一貫して端末の損失を減らし、よく調整されたベースラインよりも優れたスケーリング動作を示す。 これらの結果から,トークン適応型アクティベーションミキシングは,大規模言語モデルにおいてFFN表現性を向上させるためのシンプルかつ効果的なメカニズムであることが示唆された。
  論文  参考訳（メタデータ） (2026-05-26T07:30:53Z)
• The Devil is in the Condition Numbers: Why is GLU Better than non-GLU Structure? [87.93926438258232]
  Gated Linear Units (GLU)とその変種は、現代のオープンソースの大規模言語モデルアーキテクチャにおいて広く採用されている。 ニューラル・タンジェント・カーネル(NTK)の2層ネットワークを解析し,GLUについて検討した。 解析の結果、GLU構造はNTKスペクトルに反し、より少ない条件数とよりコンパクトな固有値分布をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-20T05:50:06Z)
• LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
  評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。 このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。 チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
  論文  参考訳（メタデータ） (2026-03-28T18:03:32Z)
• λ-GELU: Learning Gating Hardness for Controlled ReLU-ization in Deep Networks [1.1145952934885128]
  Gaussian Error Linear Unit (GELU) はRectifier Linear Unit (ReLU) のスムーズな代替品として広く使われている。 -GELUは、ゲーティングの硬さをプロファイルし制御するための最小限の解釈可能なノブを提供する。 全体として、 -GELUは、ゲーティングの硬さをプロファイルし制御するための最小限の、解釈可能なノブを提供し、ReLU中心の下流パイプラインによるスムーズなトレーニングをブリッジする。
  論文  参考訳（メタデータ） (2026-03-23T13:58:19Z)
• IGLU: The Integrated Gaussian Linear Unit Activation Function [13.305282275999778]
  半正規混合分布の下でGELUゲートのスケール混合として導出されるパラメトリック活性化関数IGLUを導入する。 IGLUは、ReLUとGELUのベースラインに対して、視覚と言語データセットの両方において、競争力または優れた性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-03-06T20:28:08Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• VeLU: Variance-enhanced Learning Unit for Deep Neural Networks [38.363465138060086]
  入力分散に基づいてスケールするアクティベーション関数としてVeLUを提案する。 VeLUは6つのビジョンベンチマークでReLU、ReLU6、Swish、GELUより優れている。
  論文  参考訳（メタデータ） (2025-04-21T12:20:46Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。