論文の概要: Dynamic Short Convolutions Improve Transformers

• arxiv url: http://arxiv.org/abs/2606.03825v1
• Date: Tue, 02 Jun 2026 16:07:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.143345
• Title: Dynamic Short Convolutions Improve Transformers
• Title（参考訳）: 動的ショートコンボリューションによるトランスフォーマーの改善
• Authors: Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim,
• Abstract要約: 本稿では,トランスフォーマー改善のためのニューラルネットワークプリミティブとして,動的短畳み込みを導入する。 キー、クエリ、値表現に動的に短い畳み込みを適用すると、パフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 44.7573199674059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have become the dominant architecture for large language models, largely due to the scalability and flexibility of attention, feed-forward layers, residual connections, and normalization. This paper introduces dynamic short convolutions as an additional neural network primitive for improving Transformers. Unlike static short convolutions, dynamic convolutions use input-dependent filters, which preserves the locality bias of convolution while increasing expressivity. Motivating experiments show that applying dynamic short convolutions to key, query, and value representations improves performance on challenging associative recall tasks compared with static convolutional variants. Across language-modeling experiments ranging from 150M to 2B parameters, dynamic convolutions consistently outperform standard Transformers and Transformers augmented with static short convolutions. Fitting scaling laws indicates a 1.33$\times$ compute advantage over compute-matched Transformers when dynamic convolutions are applied to the key, query, and value vectors, and a 1.60$\times$ advantage when adding dynamic convolutions after every linear layer. Dynamic convolutions also offer improvements on linear RNNs (Mamba-2/Gated DeltaNet) and mixture-of-experts architectures. We make these gains practical with custom Triton kernels that enable efficient training with a manageable end-to-end slowdown. These results suggest that dynamic short convolutions are a scalable, hardware-efficient, and expressive primitive for advancing Transformer-based language models.
• Abstract（参考訳）: トランスフォーマーは、主に注意力のスケーラビリティと柔軟性、フィードフォワード層、残余接続、正規化のために、大きな言語モデルの主要なアーキテクチャとなっている。 本稿では,トランスフォーマー改善のためのニューラルネットワークプリミティブとして,動的短畳み込みを導入する。 静的な短い畳み込みとは異なり、動的畳み込みは入力依存フィルタを使用し、畳み込みの局所性バイアスを保ちながら表現性を高めている。 モチベーション実験により、キー、クエリ、値表現に動的に短い畳み込みを適用することで、静的畳み込み変種と比較して、困難な連想的リコールタスクのパフォーマンスが向上することが示された。 150Mから2Bまでの言語モデリング実験では、動的畳み込みは標準のトランスフォーマーや静的な短い畳み込みで拡張されたトランスフォーマーよりも一貫して優れていた。 スケーリング法則の適合は、動的畳み込みがキー、クエリ、値ベクトルに適用された場合、計算整合変換器よりも1.33$\times$計算上の利点を示し、線形層ごとに動的畳み込みを追加する場合の1.60$\times$利点を示している。 動的畳み込みは線形RNN(Mamba-2/Gated DeltaNet)とMix-of-expertsアーキテクチャの改善も提供する。 我々は、管理可能なエンドツーエンドのスローダウンで効率的なトレーニングを可能にするカスタムのTritonカーネルでこれらの利点を実践する。 これらの結果は、動的短絡は、トランスフォーマーベースの言語モデルを進めるためのスケーラブルで、ハードウェア効率が高く、表現力豊かなプリミティブであることを示唆している。

関連論文リスト

• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• SD-Conv: Towards the Parameter-Efficiency of Dynamic Convolution [16.56592303409295]
  動的畳み込みは、無視可能なFLOPの増加による効率の良いCNNの性能向上を実現する。 我々はこれら2つのパスを自然に統合する新しいフレームワーク textbfSparse Dynamic Convolution (textscSD-Conv) を提案する。
  論文  参考訳（メタデータ） (2022-04-05T14:03:54Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。