論文の概要: Multi-Stream Attention Residuals

• arxiv url: http://arxiv.org/abs/2610.13630v1
• Date: Fri, 09 Oct 2026 14:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.614987
• Title: Multi-Stream Attention Residuals
• Title（参考訳）: マルチストリームアテンション残量
• Abstract要約: Attention Residuals (AttnRes) は、コンテンツ依存の検索を可能にする。 AttnResの拡張であるMulti-Stream Attention Residuals (MSAR)を導入する。
• 参考スコア（独自算出の注目度）: 56.21616498858889
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention Residuals (AttnRes) enables content-dependent retrieval over network depth, which can be viewed as single-stream softmax attention along the depth axis. Inspired by the success of multi-head attention along the sequence axis, we introduce Multi-Stream Attention Residuals (MSAR), an extension of AttnRes that generalizes this mechanism to multi-head depth attention, yielding substantial performance gains with minimal additional overhead. MSAR draws stream diversity from sequence context through multi-scale causal convolutions, allowing different heads to retrieve historical representations through distinct contextual views while preserving the integrity of the hidden representation. The retrieved streams are combined through lightweight adaptive mixing to generate the single-stream layer input. By retaining single-stream sources and expanding them on demand, MSAR supports multi-stream computation without requiring persistent multi-stream storage or communication. Across all 12 downstream benchmarks at the 18B and 28B MoE scales, MSAR consistently outperforms prior residual variants, including standard residual connections, manifold-constrained Hyper-Connections (mHC), and AttnRes. Scaling-law experiments yield an iso-loss compute speedup of $1.58\times$ over the standard residual baseline, compared with $1.35\times$ for AttnRes and $1.30\times$ for mHC. These results make MSAR a promising residual architecture for large-scale pre-training.
• Abstract（参考訳）: Attention Residuals (AttnRes) は、ネットワーク深度によるコンテンツ依存の検索を可能にする。 AttnResの拡張であるMulti-Stream Attention Residuals(MSAR)を導入し,この機構をマルチヘッド奥行き注意に一般化し,追加オーバーヘッドを最小限に抑えた性能向上を実現した。 MSARはシーケンスコンテキストからマルチスケールの因果的畳み込みを通じてストリームの多様性を引き出し、異なるヘッドが隠れた表現の完全性を保ちながら異なるコンテキストビューを通して歴史的な表現を検索できるようにする。 検索したストリームは、軽量な適応混合により結合され、単一ストリーム層入力を生成する。 単一ストリームソースを保持し、必要に応じて拡張することにより、MSARは永続的なマルチストリームストレージや通信を必要としないマルチストリーム計算をサポートする。 18Bと28BのMoEスケールでの12のダウンストリームベンチマーク全体で、MSARは標準残差接続、多様体制約のハイパーコネクション(mHC)、AttnResなど、従来型の残差を一貫して上回っている。 スケーリング法則の実験では、標準残差ベースラインよりも1.58\times$のイソロス計算速度が、AttnResは1.35\times$、mHCは1.30\times$となる。 これらの結果により、MSARは大規模事前学習のための有望な残留アーキテクチャとなる。

関連論文リスト

• TEMPER: Tensorized Efficient Manifold-constrained Parameterization for Expressive Residual Routing [7.909872430050534]
  残留接続は静的な残留経路に依存しており、ディープニューラルネットワークのトレーニングに必須である。 underlinetextbf Tensorized underlinetextbfEfficient underlinetextbfManifold-constrained underlinetextbfParameterization for underlinetextbfExpressive Residual underlinetextbfRouting。
  論文  参考訳（メタデータ） (2026-08-08T01:45:27Z)
• TRaM-VSR: Importance-Aware Token Routing and Merging for One-Step Diffusion Video Super-Resolution [52.96050253456634]
  TRaM-VSRは、コンテキスト対応のビデオプリエントとネットワークレベルを用いた適応トークンアロケーションのためのフレームワークである。 その結果、TRaM-VSRは、最先端の復元品質と頑健な時間的整合性を維持しつつ、推論を著しく加速することがわかった。
  論文  参考訳（メタデータ） (2026-07-24T11:57:26Z)
• Analyzing Stream Collapse in Hyper-Connections: From Diagnosis to Mitigation [48.87937677659571]
  ハイパーコネクションは、単一のトランスフォーマー残ストリームを複数のストリームに置き換え、ストリームインデックスに置換対称性を導入する。 我々は、この対称性が実際にどのように解決されるか、ストリームがバランスの取れた方法で専門化しているか、それとも支配的なストリーム利用を示すかを検討する。
  論文  参考訳（メタデータ） (2026-06-02T11:00:49Z)
• Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
  LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。 この定式化がモデリングのボトルネックを生み出すことを示す。 コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
  論文  参考訳（メタデータ） (2026-05-14T18:30:10Z)
• Ablate and Rescue: A Causal Analysis of Residual Stream Hyper-Connections [5.356431232110434]
  並列ストリームが情報をどのように符号化し活用するかを探索する,最初のオープンソースのmHC言語モデルを提案する。 本稿では,残差ストリームの因果関係を推論時に直接因果関係で比較できる,系統的なストリーム・アブレーション・レスキュー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-16T05:24:44Z)
• Mixture of Universal Experts: Scaling Virtual Width via Depth-Width Transformation [49.44855760291454]
  Mixture-of-Experts (MoE) は、モデルのキャパシティをトーケン毎の計算から切り離す。 MoEの一般化は、新しいスケーリングディメンションであるVirtual Widthを導入している。 MoEは継続的にMoEベースラインに匹敵する性能を1.3%まで上回っている。
  論文  参考訳（メタデータ） (2026-03-05T09:07:45Z)
• Accurate and lightweight dehazing via multi-receptive-field non-local network and novel contrastive regularization [22.00352317851905]
  ディープラーニングベースの手法は、画像のデハージング領域を支配している。 本稿では,MRFNLN(Multi-receptive-field non-local network)について述べる。
  論文  参考訳（メタデータ） (2023-09-28T14:59:16Z)
• Sequential Hierarchical Learning with Distribution Transformation for Image Super-Resolution [83.70890515772456]
  画像SRのための逐次階層学習型超解像ネットワーク(SHSR)を構築した。 特徴のスケール間相関を考察し、階層的情報を段階的に探索するシーケンシャルなマルチスケールブロック(SMB)を考案する。 実験結果から,SHSRは最先端手法に優れた定量的性能と視覚的品質が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-19T01:35:53Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。