論文の概要: Abstention and Noise Filtering: Two Missing Primitives of Softmax Attention

• arxiv url: http://arxiv.org/abs/2609.22005v1
• Date: Fri, 18 Sep 2026 17:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.199636
• Title: Abstention and Noise Filtering: Two Missing Primitives of Softmax Attention
• Title（参考訳）: 消音とノイズフィルタ:ソフトマックス注意の2つの欠落
• Abstract要約: 我々は,これらのゲートが軟弱な注意力に欠ける2つの異なるもの – 禁忌とノイズフィルタリング – を提供する,という実験的証拠を論じ,提示する。 我々は,ソフトマックスにおける学習した頭当たりのシンクロージットと,各値のゲートを通るノイズフィルタにより,吸音を供給している。 禁忌は10Mのゲーティングや350Mのフィルタリングから得られる利益のほぼ全てを占めています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gating the value pathway of attention reportedly improves language model pretraining, and prior studies disagree on why. We argue and provide experimental evidence that such gates supply two different things that softmax attention lacks: abstention and noise filtering. The first is abstention, which allows an attention head to output nothing, bypassing the requirement that attention weights must sum to one. The second is noise filtering, which allows the value pathway of an attention head to suppress interference from superposed features in the residual stream. In our experiments in matched models from 10M to 350M parameters, we supply abstention through a learned per-head sink logit in the softmax and noise filtering through a gate on each value. We report three empirical findings. First, the benefit of abstention, measured as the reduction in validation loss relative to a matched baseline, declines as models grow, whereas the benefit of noise filtering increases with scale. In particular, abstention accounts for nearly all of the gain from gating at 10M and filtering for most of it at 350M. Second, the best model at every scale is the one with both primitives built in. Third, injecting controlled interference into the values a head reads confirms that the gate removes such interference, and reveals that each of the two gate forms we study has a characteristic blind spot. Supplying both primitives adds negligible parameters and remains compatible with the key-value cache.
• Abstract（参考訳）: 注意の経路を測ることにより、言語モデルの事前学習が向上し、先行研究は理由について意見が一致しない。 我々は,これらのゲートが軟弱な注意力に欠ける2つの異なるもの – 禁忌とノイズフィルタリング – を提供する,という実験的証拠を論じ,提示する。 1つ目は、注意の重みを1つにまとめなければならないという要件を回避して、注意頭が何も出力することを可能にする、棄権である。 2つ目はノイズフィルタリングであり、これは注意ヘッドの値経路が残留ストリームの重畳された特徴からの干渉を抑制することを可能にする。 10M から 350M パラメータのマッチングモデルを用いた実験では,ソフトマックスにおける学習した頭ごとのシンクログと各値のゲートによるノイズフィルタリングにより,吸音を抑えることができた。 3つの経験的所見を報告する。 まず,一致したベースラインに対するバリデーション損失の低減として測定された禁忌の利点は,モデルの成長とともに減少する一方,ノイズフィルタリングの利点は規模によって増大する。 特に、禁忌は10Mのゲーティングと350Mのフィルタリングから得られるほぼすべての利益を担っている。 第二に、すべてのスケールで最高のモデルは、両方のプリミティブが組み込まれているモデルです。 第3に、ヘッドが読み出す値に制御された干渉を注入すると、ゲートがそのような干渉を取り除くことが確認され、2つのゲート形式それぞれに特徴的な盲点があることが明らかになる。 両方のプリミティブの供給は無視可能なパラメータを追加し、キーバリューキャッシュとの互換性を維持します。

関連論文リスト

• A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models [64.68800440221138]
  大規模音声言語モデル(LALM)は、様々な音声理解タスクにおいて高いパフォーマンスを達成するが、時間的推論に苦慮する。 メカニスティック解析のために設計された3つの基礎的タスクに対して,1,657問のベンチマークを導入する。 拡張性に対する注意の重み付けを比較すると、音声トークン間での注意の再分配は、音声の注意を増大させるよりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2026-06-16T01:57:56Z)
• Why LoRA Resists Label Noise: A Theoretical Framework for Noise-Robust Parameter-Efficient Fine-Tuning [0.0]
  Low-Rank Adaptation (LoRA) は、大規模な事前学習モデルに適応するための主要なパラダイムとなっている。 rank-r$LoRAは、サンプルサイズが$O(r(d+k-r))$を超えると、可能なラベルの割り当てを記憶できない。 RACT(Rank-Aware Curriculum Training)を提案する。
  論文  参考訳（メタデータ） (2026-01-22T22:56:38Z)
• VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
  検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。 出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。 本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
  論文  参考訳（メタデータ） (2025-10-01T20:32:08Z)
• Unlocking Noise-Resistant Vision: Key Architectural Secrets for Robust Models [41.429437803093485]
  ある種の視覚アーキテクチャが本質的に加法ガウス雑音に対して堅牢である理由を考察する。 具体的には,1,174個の事前学習型視覚モデルの評価を行う。 ガウス雑音に対するロバスト性を改善するための4つの一貫した設計パターンを同定する。
  論文  参考訳（メタデータ） (2025-09-25T09:24:49Z)
• Spin-qubit readout analysis based on a hidden Markov model [0.0]
  半導体スピン量子ビットでは、典型的な信号トレースは通常、それを単一の値に圧縮することによって解析される。 ここでは、隠れマルコフモデル(HMM)を用いて、より洗練された信号トレース処理によって達成できることを分析する。 システム統計モデルとして白色雑音を用いたHMMは驚くほど相関に敏感であることがわかった。
  論文  参考訳（メタデータ） (2025-05-25T19:04:02Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Generalizing Face Forgery Detection with High-frequency Features [63.33397573649408]
  現在のCNNベースの検出器は、メソッド固有の色テクスチャに過度に適合するため、一般化に失敗する傾向にある。 フェースフォージェリ検出に高周波雑音を用いることを提案する。 1つは、複数のスケールで高周波ノイズを抽出するマルチスケールの高周波特徴抽出モジュールである。 2つ目は、低レベルRGB特徴抽出器を導く残差誘導空間注意モジュールで、新しい視点からフォージェリートレースにもっと集中する。
  論文  参考訳（メタデータ） (2021-03-23T08:19:21Z)
• Adaptive Multi-View ICA: Estimation of noise levels for optimal inference [65.94843987207445]
  Adaptive MultiView ICA (AVICA) はノイズの多いICAモデルであり、各ビューは共有された独立したソースと付加的なノイズの線形混合である。 AVICAは、その明示的なMMSE推定器により、他のICA法よりも優れたソース推定値が得られる。 実脳磁図(MEG)データでは,分解がサンプリングノイズに対する感度が低く,ノイズ分散推定が生物学的に妥当であることを示す。
  論文  参考訳（メタデータ） (2021-02-22T13:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。