論文の概要: Convolution for Large Language Models

• arxiv url: http://arxiv.org/abs/2607.18413v1
• Date: Mon, 20 Jul 2026 18:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.21172
• Title: Convolution for Large Language Models
• Title（参考訳）: 大規模言語モデルのための畳み込み
• Abstract要約: 本研究では,この局所的帰納バイアスをモデルサイズを大幅に増大させることなく,軽量な奥行き畳み込みがもたらすことができるかどうかを考察する。 本研究は,短距離トークン相互作用をモデル化するための自己注意の軽量補完として,深層的畳み込みを支援する。
• 参考スコア（独自算出の注目度）: 42.35552595468692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) largely rely on Transformers, where self-attention provides global token interaction but does not explicitly encode the locality of natural language. We study whether lightweight depthwise convolutions can supply this local inductive bias without materially increasing model size. Our macro-level ablation compares convolution at 17 locations in a Qwen3 Transformer block and finds the best results when convolution is applied to the projected queries, keys, and values before attention. A subsequent micro-level study favors a residual depthwise convolution with kernel size $k=3$, without additional normalization or activation. Across Qwen3 models and several pre-training data budgets, this design improves the average accuracy on seven downstream benchmarks while adding less than $0.01\%$ parameters. A representation-level case study further suggests that the convolution makes repeated token IDs more sensitive to their immediate context. These results support depthwise convolution as a lightweight complement to self-attention for modeling short-range token interactions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は主にトランスフォーマーに依存しており、自己注意はグローバルなトークンインタラクションを提供するが、自然言語の局所性を明示的にエンコードしない。 本研究では,この局所的帰納バイアスをモデルサイズを大幅に増大させることなく,軽量な奥行き畳み込みがもたらすことができるかどうかを考察する。 我々のマクロレベルのアブレーションは、Qwen3 Transformerブロック内の17の場所での畳み込みを比較し、予測されたクエリ、キー、および注意前の値に畳み込みを適用すると、最もよい結果が得られます。 その後のマイクロレベルの研究は、カーネルサイズが$k=3$の残深度の畳み込みを、追加の正規化やアクティベーションなしで好んでいる。 Qwen3モデルといくつかの事前トレーニングデータ予算によって、この設計は7つのダウンストリームベンチマークの平均精度を改善し、パラメータは0.01\%以下である。 さらに、表現レベルのケーススタディでは、畳み込みによって繰り返しトークンIDが、その瞬間の文脈により敏感になることを示している。 これらの結果は、短距離トークン相互作用をモデル化するための自己注意の軽量補完として、奥行き畳み込みをサポートする。

関連論文リスト

• Dynamic Short Convolutions Improve Transformers [44.7573199674059]
  本稿では,トランスフォーマー改善のためのニューラルネットワークプリミティブとして,動的短畳み込みを導入する。 キー、クエリ、値表現に動的に短い畳み込みを適用すると、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-06-02T16:07:55Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
  現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。 これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。 私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
  論文  参考訳（メタデータ） (2023-01-26T19:17:10Z)
• FInC Flow: Fast and Invertible $k \times k$ Convolutions for Normalizing Flows [2.156373334386171]
  可逆畳み込みは、表現的正規化フローベース生成モデルを構築する上で不可欠な要素である。 我々は、$k倍の畳み込み層とDeep Normalizing Flowアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-01-23T04:31:03Z)
• Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
  Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。 Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-06-02T06:06:29Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)
• Time-aware Large Kernel Convolutions [41.19006428608901]
  Time-Aware Large Kernel (TaLK) Convolutionsは、カーネルの総和の大きさを予測するために学習する新しい適応的畳み込み演算である。 提案手法は, 大規模標準機械翻訳, 抽象要約, 言語モデリングデータセットにおいて評価される。
  論文  参考訳（メタデータ） (2020-02-08T15:30:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。