Fugu-MT 論文翻訳(概要): Is SwiGLU's Open Positive Tail Necessary? Evidence from Closed-Tail Gating with MemGLU

論文の概要: Is SwiGLU's Open Positive Tail Necessary? Evidence from Closed-Tail Gating with MemGLU

arxiv url: http://arxiv.org/abs/2608.07323v1
Date: Fri, 07 Aug 2026 15:20:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-10 16:21:25.539337
Title: Is SwiGLU's Open Positive Tail Necessary? Evidence from Closed-Tail Gating with MemGLU
Title（参考訳）: SwiGLUのオープン・ポジティヴ・テールは必要か? MemGLU によるクローズド・テール・ゲーティングの証拠
Abstract要約: 我々は、デコーダのみの言語モデルFFNがSwiGLUのオープンポジティテールを必要とするかどうかをテストする。テストスケールでは、SwiGLUのオープンポジティテールはデコーダのみの言語モデルFFNでは不要である。
参考スコア（独自算出の注目度）: 2.4915542959367407
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We test whether decoder-only language-model FFNs require SwiGLU's open positive tail. We introduce MemGLU as a closed-tail comparator derived from a memristive branch geometry. Across paired 9M and 30M pretraining runs with three seeds, MemGLU remains within about 0.1% of SwiGLU in validation NLL. Trained SwiGLU checkpoints are sensitive to positive-tail suppression, while mechanism diagnostics show that the two models use their gates differently despite similar losses. These results suggest that models adapt to the gate geometry available during pretraining. At the tested scales, SwiGLU's open positive tail is not necessary for decoder-only language-model FFNs.
Abstract（参考訳）: 我々は、デコーダのみの言語モデルFFNがSwiGLUのオープンポジティテールを必要とするかどうかをテストする。本稿では,メムリシブ分岐幾何から派生した閉テールコンパレータとしてMemGLUを紹介する。ペア 9M と 30M の事前訓練を3つの種で行うと、MemGLU は NLL の検証において SwiGLU の約 0.1% 以内に留まる。トレーニングされたSwiGLUチェックポイントは正の尾の抑制に敏感であり、メカニズム診断では、同様の損失にもかかわらず、2つのモデルがゲートを異なる方法で使用していることが示されている。これらの結果から,プレトレーニング時に利用可能なゲート形状にモデルが適応していることが示唆された。テストスケールでは、SwiGLUのオープンポジティテールはデコーダのみの言語モデルFFNでは不要である。

関連論文リスト

TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps [1.8136615181861766]
クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
論文参考訳（メタデータ） (2026-09-13T19:52:46Z)
Confidence-Adaptive SwiGLU for Mixture-of-Experts [27.522987043624237]
信頼を意識したSwiGLUはトークンレベルのルーティング信頼度に応じて専門家のゲートシャープネスを調整する。 $$-SwiGLUは、SiLUゲートシャープネスをルータロジットの学習可能な関数としてパラメータ化する。 $$-SwiGLUは、無視可能なパラメータを追加しながら、平均COREパフォーマンスを改善します。
論文参考訳（メタデータ） (2026-05-30T14:58:52Z)
The Devil is in the Condition Numbers: Why is GLU Better than non-GLU Structure? [87.93926438258232]
Gated Linear Units (GLU)とその変種は、現代のオープンソースの大規模言語モデルアーキテクチャにおいて広く採用されている。ニューラル・タンジェント・カーネル(NTK)の2層ネットワークを解析し,GLUについて検討した。解析の結果、GLU構造はNTKスペクトルに反し、より少ない条件数とよりコンパクトな固有値分布をもたらすことが明らかとなった。
論文参考訳（メタデータ） (2026-05-20T05:50:06Z)
WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
論文参考訳（メタデータ） (2026-04-20T01:29:56Z)
Revisiting Auxiliary Losses for Conditional Depth Routing: An Empirical Study [31.968379218484746]
ゲート決定は、言語モデリング(LM)の損失に影響を与える前に、多くのレイヤを通して伝播しなければならない。補助的な損失はトレーニングを安定させるために積み重ねられることが多いが、それらの間の相互作用、特に予測的な補助的なスコアと明示的なスコアの監督の間の相互作用は、制御された条件下で体系的に比較されていない。これは、後続のすべてのレイヤがフルに実行されると仮定する、オフポリティのオラクルラベルにトレースしますが、ゲートされた実行ルートはフルに1分しかありません。
論文参考訳（メタデータ） (2026-04-19T03:20:40Z)
No Validation, No Problem: Predicting Model Performance from a Single Gradient [1.9336815376402718]
本稿では,1つの前方パスからの検証不要なチェックポインティング信号を提案する。 ImageNet-1k CNNとTransformers全体で、このプロキシはTop-1に強く否定的で、損失に肯定的です。
論文参考訳（メタデータ） (2026-01-23T16:30:11Z)
What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
論文参考訳（メタデータ） (2025-10-13T16:31:50Z)
Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文参考訳（メタデータ） (2025-09-26T23:40:47Z)
End-to-end Spoken Language Understanding with Tree-constrained Pointer Generator [19.372248692745167]
本稿では、文脈バイアスを利用して、エンドツーエンドの音声言語理解を改善する。 SLURPデータセットの実験では、TCPGenとSPBを使用して一貫したSLU-F1の改善が見られた。スロット充填に加えて,意図分類精度も向上した。
論文参考訳（メタデータ） (2022-10-29T10:03:56Z)
OpenMatch: Open-set Consistency Regularization for Semi-supervised Learning with Outliers [71.08167292329028]
我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。 OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。 3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
論文参考訳（メタデータ） (2021-05-28T23:57:15Z)
Gaussian Error Linear Units (GELUs) [58.195342948092964]
本稿では,入力の重み付けを行うニューラルネットワークアクティベーション関数を提案する。コンピュータビジョン、自然言語処理、音声タスクのすべてにおいて、パフォーマンスが改善されている。
論文参考訳（メタデータ） (2016-06-27T19:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。