論文の概要: GatedV: Self-Gated Values for Transformer Language Models

• arxiv url: http://arxiv.org/abs/2611.02145v1
• Date: Sun, 01 Nov 2026 19:24:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.531826
• Title: GatedV: Self-Gated Values for Transformer Language Models
• Title（参考訳）: GatedV: トランスフォーマー言語モデルのための自己ゲート型値
• Abstract要約: GatedV は単純な注意変種であり、SiLU は凝集前に V にのみ適用される。 我々は、標準デコーダのみの変換器に対してGatedVを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard attention forms query (Q), key (K), and value (V) matrices through learned linear projections of input hidden states. Architectures such as GAU and Mega incorporate nonlinear transformations into attention. In this paper, we propose GatedV, a simple attention variant that applies SiLU only to V before aggregation without introducing additional trainable parameters. We evaluate GatedV against a standard decoder-only Transformer using matched parameter counts, paired initializations, and equal training-token budgets. At 2.33M parameters, GatedV reduces mean held-out perplexity from 59.1 to 57.9 (2.0%), with improvements across all five paired seeds. At 26.16M parameters, following an equal-budget learning-rate search, mean held-out perplexity falls from 20.2 to 19.7 (2.4%), with improvements across all three paired seeds. Small-model ablations show that the tested affine rescaling of values does not fully reproduce GatedV's gains. A short interleaved benchmark on NVIDIA DGX Spark measures approximately 0.7% higher full-context forward latency for the larger model, based on synchronized wall-clock timings. These findings suggest that value-only self-gating can improve language modeling performance without increasing parameter count or redesigning the attention-weighting mechanism.
• Abstract（参考訳）: 標準アテンションは、入力隠れ状態の学習された線形射影を通してクエリ(Q)、キー(K)、値(V)行列を形成する。 GAUやMegaのようなアーキテクチャは、非線形変換に注意を払っている。 本稿では,SiLU を V にのみ適用する簡易なアテンション変種 GatedV を提案する。 整合パラメータ数,ペア初期化,等訓練予算を用いて,標準デコーダのみの変換器に対してGatedVを評価する。 2.33Mのパラメータでは、GatedVは59.1から57.9(2.0%)に減少し、5対の種子を改良した。 26.16Mのパラメータは、等予算の学習レートの探索に続いて、保持されるパープレキシティが20.2から19.7(2.4%)に低下し、3つのペアの種子に改良が加えられた。 小モデルアブレーションは、テストされたアフィンの値の再スケーリングがGatedVのゲインを完全に再現しないことを示している。 NVIDIA DGX Sparkの短いインターリーブベンチマークは、同期ウォールクロックのタイミングに基づいて、より大きなモデルのフルコンテキスト前方遅延を約0.7%高める。 これらの結果から,パラメータ数の増加やアテンション重み付け機構の再設計を伴わずに,価値のみの自己ゲーティングにより言語モデリング性能が向上することが示唆された。

関連論文リスト

• Direct Conditional Parameterization for N-Dimensional Splatting [28.593251192665402]
  N-DGSとUBSはこのステップをガウスカーネルとベータカーネルで共有している。 生産スライシングは、オンザフライの共分散条件より6.9-7.7倍速い。 直接条件付けは、N次元スプラッティングの構造化された、カーネルに依存しない代替手段を提供する。
  論文  参考訳（メタデータ） (2026-10-16T00:39:55Z)
• AcrossVAM2.0: Conflict-Aware Point Supervision for Parameter-Efficient Video Diffusion Adaptation [7.12251554131085]
  ビデオジェネレータに適応するためには、明示的な点対応が魅力的である。 我々はこのテンションを5.01Bパラメータのテキスト・ビデオ拡散変換器で研究する。 ACROSSVAM2.0は、信頼性の高いトラック・アンド・ビジュアライゼーションヘッド、ゼロd残差フィードバック、非対称PCGradを組み合わせたものである。
  論文  参考訳（メタデータ） (2026-10-10T08:12:08Z)
• GrainSpeech: Less Context, More Detail for Compact Speech Synthesis [3.2153831732313614]
  GrainSpeechは264.8Kのパラメータしか持たず、マイクロコントローラ上で17.9倍のリアルタイムメル生成を実現している。 本稿では,各予測誤差を36.4%,17.3%,3.4%削減する固定受容場畳み込みエンコーダを提案する。
  論文  参考訳（メタデータ） (2026-09-16T15:59:20Z)
• Persistent Recurrent Memory Between Transformer Layers - Improves Language Model Generalization [0.0]
  本稿では,クロスアテンションによって隠された表現を観測し,自身をGRU経由で更新し,ゲート付加によりその後の処理を変調する永続的リカレント状態を導入する。 このモジュールには3.7%の追加パラメータが加わり、評価損失は2.438 pm 0.004$から1.743 pm 0.018$に削減された。
  論文  参考訳（メタデータ） (2026-09-15T14:31:43Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• Compressing Transformer Language Models via Matrix Product Operator Decomposition: A Case Study on PicoGPT [0.0]
  トランスフォーマーベースの言語モデルは、NLPタスク間で強力なパフォーマンスを実現するが、その2次パラメータスケーリングは、リソース制約のあるハードウェアへのデプロイを高くする。 変圧器の原理圧縮法として行列積演算子分解について検討する。 MPOは、重み行列を低ランクコアの鎖に分解し、近似品質は結合次元chiによって制御される。
  論文  参考訳（メタデータ） (2026-03-30T14:57:47Z)
• LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
  連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。 このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。 LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
  論文  参考訳（メタデータ） (2026-01-30T06:44:33Z)
• Global Context Vision Transformers [78.5346173956383]
  我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。 本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。 提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-06-20T18:42:44Z)
• Bilaterally Slimmable Transformer for Elastic and Efficient Visual Question Answering [75.86788916930377]
  左右にスリム化可能なトランスフォーマー(BST)は任意のトランスフォーマーベースのVQAモデルに統合される。 1つのスリム化MCAN-BSTサブモデルは、VQA-v2で同等の精度を達成する。 最も小さなMCAN-BSTサブモデルは、推論中に9Mパラメータと0.16GのFLOPを持つ。
  論文  参考訳（メタデータ） (2022-03-24T02:26:04Z)
• Early Convolutions Help Transformers See Better [63.21712652156238]
  視覚変換器(ViT)モデルは準標準最適化性を示す。 現代の畳み込みニューラルネットワークは、最適化がはるかに容易である。 畳み込みステムをViTで使用すると、最適化の安定性が劇的に向上し、ピーク性能も向上する。
  論文  参考訳（メタデータ） (2021-06-28T17:59:33Z)
• End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
  音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。 また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
  論文  参考訳（メタデータ） (2020-02-10T16:29:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。