論文の概要: Position-Agnostic Pre-Projection for Transformer Attention: Nonlinear Feature Construction and Content Skip Before Q/K/V

• arxiv url: http://arxiv.org/abs/2604.10791v1
• Date: Sun, 12 Apr 2026 19:44:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.219474
• Title: Position-Agnostic Pre-Projection for Transformer Attention: Nonlinear Feature Construction and Content Skip Before Q/K/V
• Title（参考訳）: 変圧器注意のための位置非依存予射:Q/K/V前の非線形特徴構成とコンテンツスキップ
• Abstract要約: 本稿では,変圧器の注目ブロックに対する2つの相補的な修正を提案する。 まず、レイヤノルムとQ/K/Vプロジェクションの間に非線形プレプロジェクションを挿入する。 第2に、コンテンツスキップ接続は、アテンション機構の周囲に、プレプロジェクションの機能をルーティングする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose two complementary modifications to transformer attention blocks. First, a non-linear pre-projection MLP is inserted between layer norm and Q/K/V projections, constructing richer features in a position-agnostic manner before any positional encoding is applied. Second, a content skip connection routes the pre-projection's features around the attention mechanism, allowing content information to bypass position-aware attention where beneficial. In frozen-probe experiments on Pythia-160M and 410M, the combined approach achieves the strongest results across methods: +40.6% LAMBADA accuracy and -39% perplexity at 160M scale. Learned skip connection weights reveal a consistent pattern across model sizes: later transformer layers activate the content bypass more strongly than earlier layers, suggesting that deeper layers benefit from content information that does not pass through positional attention. All modifications add no K/V cache overhead.
• Abstract（参考訳）: 本稿では,変圧器の注目ブロックに対する2つの相補的な修正を提案する。 まず、レイヤノルムとQ/K/Vプロジェクションの間に非線形プレジェクションMLPを挿入し、任意の位置符号化を適用する前に、よりリッチな特徴を位置に依存しない方法で構築する。 第2に、コンテンツスキップ接続は、アテンション機構を中心に、プリプロジェクションの特徴をルーティングし、コンテンツ情報が有益な位置認識アテンションをバイパスすることを可能にする。 Pythia-160M と 410M の凍結プローブ実験では、組み合わせた手法は最も強力な結果を得る: +40.6% LAMBADA の精度と -39% のパープレキシティを 160M スケールで達成した。 後続のトランスフォーマー層は、以前のレイヤよりも強いコンテントバイパスを活性化し、より深いレイヤは、位置的注意を通さないコンテント情報から恩恵を受けることを示唆している。 すべての変更でK/Vキャッシュのオーバーヘッドは発生しない。

関連論文リスト

• A Controlled Study of Attention-Only Transformers [0.0]
  我々は、パラメータカウント、FLOPのトレーニング、深さを個別にマッチする標準変換器に対して、注意のみのデコーダ変換器を訓練する。 解放された予算を注意深さに再配置することはギャップを埋めます。 注意のみのモデルは、文脈に基づく回答よりも、知識が重みから来る必要がある場合の方が優れていることを示す。
  論文  参考訳（メタデータ） (2026-07-20T15:29:00Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• NLL-Guided Full-Attention Layer Selection for Training-Free Sliding-Window Adaptation [19.413175066072302]
  NLL誘導層選択は、応答トークン上の負の対数分解を計算することで各層の重要性を測定する。 Qwen3-4BのLongMemEvalでは、1/4のフルアテンション層のみを用いて64.6%の精度を実現している。
  論文  参考訳（メタデータ） (2026-06-26T07:20:23Z)
• Depth-Attention: Cross-Layer Value Mixing for Language Models [39.80157231538078]
  自己注意(Self-attention)はシーケンス全体で自由に情報を選択するが、奥行きによっては、トランスフォーマーは各レイヤの出力を残留ストリームに追加するだけである。 最近のクロス層法はこの流れを改善するが、外部の隠れた状態で作動する。 本稿では、注目モジュール自体内でこの選択を行うDepth-Attentionを紹介する。
  論文  参考訳（メタデータ） (2026-06-03T15:33:45Z)
• Distilling to Hybrid Attention Models via KL-Guided Layer Selection [66.06591032073744]
  本稿では,テキストデータに対する少量のトレーニングから得られた重要度スコアを用いた,簡易かつ効率的な層選択法について述べる。 この手法は, 固定比に基づいて線形注意を均一に解き出す手法を含む, 従来の層選択手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2025-12-23T18:12:22Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• PMA: Towards Parameter-Efficient Point Cloud Understanding via Point Mamba Adapter [54.33433051500349]
  本稿では,事前学習モデルのすべての層から順序付き特徴系列を構成するPMAを提案する。 また、異なる層にまたがって共有される幾何学制約ゲートプロンプトジェネレータ(G2PG)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T09:27:16Z)
• Value Residual Learning [13.88704205151734]
  本稿では,ResFormerについて紹介する。ResFormerは値残差接続を組み込むことで情報フローを向上させるアーキテクチャである。 モデルパラメータが16.11%減少し、Transformerに比べてトレーニングデータが20.3%減少している。
  論文  参考訳（メタデータ） (2024-10-23T14:15:07Z)
• ViT-Calibrator: Decision Stream Calibration for Vision Transformer [49.60474757318486]
  本稿では、一般的な視覚変換器の性能を高めるための、決定ストリームと呼ばれる新しいパラダイムを提案する。 異なるトークンと複数の次元の関連係数の相関関係を探索し,学習過程における情報伝達機構について光を当てた。
  論文  参考訳（メタデータ） (2023-04-10T02:40:24Z)
• Point Transformer V2: Grouped Vector Attention and Partition-based Pooling [25.245254516317118]
  我々は、ポイント変換器の限界を分析し、強力で効率的なポイント変換器V2モデルを提案する。 特に,まず,従来のベクトル注意法よりも効果的である群ベクトル注意法を提案する。 我々のモデルは,先行モデルよりも優れた性能を達成し,いくつかの挑戦的な3Dポイントクラウド理解ベンチマークで最先端を達成している。
  論文  参考訳（メタデータ） (2022-10-11T17:58:03Z)
• Video Super-Resolution Transformer [85.11270760456826]
  ビデオ超解像(VSR)は、高解像度映像を対応する低解像度バージョンから復元することを目的としており、時空間シーケンス予測問題である。 近年,シークエンス・ツー・シーケンス・モデリングの並列計算能力により,Transformerが人気を集めている。 本稿では,空間的・時間的畳み込み型自己認識層を理論的に理解し,局所性情報を活用する。
  論文  参考訳（メタデータ） (2021-06-12T20:00:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。