論文の概要: Attention Sinks and Outliers in Attention Residuals
- arxiv url: http://arxiv.org/abs/2605.17887v1
- Date: Mon, 18 May 2026 05:53:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.899402
- Title: Attention Sinks and Outliers in Attention Residuals
- Title（参考訳）: 留置施設における注意シンクと外出口
- Authors: Haozheng Luo, Haoran Dai, Shaoyang Zhang, Xi Chen, Eric Hanchen Jiang, Yijiang Li, Jingyuan Huang, Chenghao Qiu, Chenwei Xu, Zhenyu Pan, Haotian Zhang, Binghui Wang, Yan Chen,
- Abstract要約: 層間ヌルシグナリングに基づく外部・シンク対応手法を提案する。
AttnResidualアーキテクチャは、追加の深さワイド正規化チャネルを導入している。
AttnResidualの二重正規化設計はシンクの形成と量子化の脆さを高める。
- 参考スコア（独自算出の注目度）: 39.45624457227565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose OASIS, an outlier- and sink-aware technique built on inter-layer null signaling. As AttnResidual architectures introduce an additional depth-wise normalization channel, they improve inter-layer routing flexibility but also exacerbate attention sinks, activation outliers, and the resulting degradation in inference stability and quantization robustness. OASIS addresses this issue by introducing a Softmax1-based null space and coupling token-level null evidence to depth routing through an inter-layer null signal, thereby reducing sink-dominated routing and improving structural robustness. Theoretically, we show that the dual-normalization design of AttnResidual intensifies sink formation and quantization brittleness. Experimentally, we compare OASIS against five baselines on three real-world datasets and observe consistent improvements in both attention sink and post-quantization performance. Notably, OASIS achieves an average reduction of 9.26% in maximum infinity norm and 2.60% in average kurtosis across the evaluated settings, while lowering perplexity by 75.85% under W8A8 and improving GSM8K Pass@1 by 12.42% under W4A4.
- Abstract（参考訳）: OASISは,層間ヌルシグナリングをベースとした外部・シンクアウェア技術である。
AttnResidualアーキテクチャは、追加の深さワイド正規化チャネルを導入し、層間ルーティングの柔軟性を向上させるとともに、注意シンク、アクティベーション・アウトレイア、推論安定性と量子化ロバスト性の向上をもたらす。
OASISは、Softmax1ベースのヌル空間を導入し、トークンレベルのヌルエビデンスを層間ヌル信号を介してディープルーティングに結合することでこの問題に対処する。
理論的には、AttnResidualの二重正規化設計はシンクの形成と量子化の脆さを高める。
実験では,OASISを実世界の3つのデータセットの5つのベースラインと比較し,アテンションシンクとポスト量子化性能の両面で一貫した改善を観察した。
特に、OASISは最大無限ノルムで9.26%、平均カルトシスで2.60%、W8A8で75.85%、W4A4で12.42%、パープレキシティで75.85%、GSM8K Pass@1で12.42%の低下を実現している。
関連論文リスト
- Normalized Architectures are Natively 4-Bit [49.13186675123547]
重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。
本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
論文 参考訳（メタデータ） (2026-05-07T11:54:07Z) - OSC: Hardware Efficient W4A4 Quantization via Outlier Separation in Channel Dimension [5.50723299083202]
我々は、外乱抑制のためのハードウェア効率の良いフレームワークOSCを提案する。
OSCは非常にハードウェアフレンドリーで、現代のAIアクセラレーターのW8A8 GEMMベースラインよりも1.78倍のピーク速度を達成した。
論文 参考訳（メタデータ） (2026-04-14T14:17:59Z) - OVS-DINO: Open-Vocabulary Segmentation via Structure-Aligned SAM-DINO with Language Guidance [53.45125687428705]
Open-Vocabularyは、セマンティック記述を活用することで、定義済みのカテゴリセットを超えてイメージ領域を分割することを目的としている。
近年の取り組みは、これらの制限を軽減するために、DINOのようなVision Foundation Models (VFM) を取り入れている。
我々は,構造アライメントを通じてDINOの潜在エッジ感度を活性化する新しいフレームワークであるOVS-DINOを提案する。
論文 参考訳（メタデータ） (2026-04-09T16:57:11Z) - Distributional Reinforcement Learning with Information Bottleneck for Uncertainty-Aware DRAM Equalization [8.695939803795499]
本稿では,Information Bottleneck潜在表現と条件付き値-アット・リスク最適化を組み合わせた分散型リスク感応型強化学習フレームワークを提案する。
本稿では,眼球図の51倍の速度アップを実現する速度歪み最適信号圧縮法を提案する。
提案するフレームワークは,検証済みの最悪の保証を伴って,生産規模の等化器最適化のための実用的なソリューションを提供することを示す。
論文 参考訳（メタデータ） (2026-03-05T03:34:25Z) - Adaptive Enhancement and Dual-Pooling Sequential Attention for Lightweight Underwater Object Detection with YOLOv10 [0.0]
この原稿では、YOLOv10アーキテクチャを基盤として、水中オブジェクト検出のための合理化されながら堅牢なフレームワークを紹介している。
提案手法は,画像品質向上のためのマルチステージ適応拡張モジュールと,マルチスケール特徴表現を強化するためのデュアルプールシーケンスアテンション機構を統合した。
論文 参考訳（メタデータ） (2026-03-04T07:39:57Z) - Blockchain-Enabled Routing for Zero-Trust Low-Altitude Intelligent Networks [77.17664010626726]
低高度インテリジェントネットワーク(LAIN)における複数のUAVクラスタによるルーティングに焦点を当てる。
潜在的な脅威によるダメージを最小限に抑えるため,ソフトウェア定義の周辺技術とブロックチェーン技術を用いたゼロトラストアーキテクチャを提案する。
提案手法は,平均E2E遅延を59%削減し,TSRを29%改善することを示した。
論文 参考訳（メタデータ） (2026-02-27T04:30:35Z) - N-EIoU-YOLOv9: A Signal-Aware Bounding Box Regression Loss for Lightweight Mobile Detection of Rice Leaf Diseases [0.6280530476948474]
N EIoU YOLOv9は信号認識ボックス回帰損失に基づく軽量検出フレームワークである。
提案した損失は,非単調焦点と非結合幅と高さ最適化を組み合わせることで局所化勾配を推定する。
このデザインは農業病の画像でよく見られる小・低コントラストターゲットに対して特に有効である。
論文 参考訳（メタデータ） (2026-01-14T05:13:36Z) - DARN: Dynamic Adaptive Regularization Networks for Efficient and Robust Foundation Model Adaptation [0.0]
動的適応正規化ネットワーク(DARN)を導入する。
DARNは、サンプルごとの難易度を推定する軽量タスク複雑度予測器(TCP)、適応ドロップアウト変調(ADM)、動的キャパシティゲーティング(DCG)の3つの重要なイノベーションを統合している。
完全な微調整(非凍結バックボーン)において、DARN はマルチタスク GeoBench ベンチマーク (86.66% mIoU, +5.56 pp over earlier SOTA) で新しい最先端を達成する。
効率的な適応(凍結バックボーン)において、DARNはSen上でSOTA競合精度(90.5% mIoU)を達成する
論文 参考訳（メタデータ） (2025-11-06T19:36:49Z) - Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning [73.10669391954801]
本稿では、Ring-mini-linear-2.0およびRing-flash-linear-2.0を含むRing-linearモデルシリーズについて述べる。
どちらのモデルも線形アテンションとソフトマックスアテンションを効果的に統合するハイブリッドアーキテクチャを採用している。
32億のパラメータ密度モデルと比較して、このシリーズは推論コストを1/10に削減し、元のRingシリーズと比較すると、コストも50%以上削減される。
論文 参考訳（メタデータ） (2025-10-22T07:59:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。