論文の概要: ConvPE: Convolutional Position Embedding Improves Transformers

• arxiv url: http://arxiv.org/abs/2611.07749v1
• Date: Thu, 05 Nov 2026 09:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.645806
• Title: ConvPE: Convolutional Position Embedding Improves Transformers
• Title（参考訳）: ConvPE: Convolutional Position Embeddingはトランスフォーマーを改善した
• Abstract要約: ConvPEは、ウィンドウ化されたコンテンツ依存バイアスをアテンションスコアに注入する。 軽量なプラグインとして、ConvPEはRoPE、アテンションマスク、KVコンカニオンと互換性がある。 再生では、ConvPEは5つの1Dベースラインと8つの2Dベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 15.543871281487542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ConvPE (Convolutional Position Embedding) improves both the performance and efficiency of Transformer models in language modeling, long-context extension, and vision. It injects a windowed, content-dependent bias into attention scores through a lightweight causal convolution over a low-dimensional projection of the hidden states. As a lightweight plug-in, ConvPE is compatible with RoPE, attention masks, and KV concatenation. It also supports high-dimensional position embeddings via high-dimensional convolutions. In a reproduction, ConvPE outperforms five 1D baselines and eight 2D baselines. The code is publicly available at https://github.com/wzhagi/convpe.
• Abstract（参考訳）: ConvPE(Convolutional Position Embedding)は、言語モデリング、長文拡張、ビジョンにおけるTransformerモデルの性能と効率を向上する。 隠れ状態の低次元投影に対する軽量因果的畳み込みを通じて、ウィンドウ付きコンテンツ依存バイアスを注意スコアに注入する。 軽量なプラグインとして、ConvPEはRoPE、アテンションマスク、KVコンカニオンと互換性がある。 また、高次元畳み込みによる高次元位置埋め込みもサポートする。 再生では、ConvPEは5つの1Dベースラインと8つの2Dベースラインを上回っている。 コードはhttps://github.com/wzhagi/convpe.comで公開されている。

関連論文リスト

• URoPE: Universal Relative Position Embedding across Geometric Spaces [55.651792747815854]
  URoPEは回転位置埋め込み(Rotary Position Embedding, RoPE)の普遍的な拡張である。 キー/値の画像パッチごとに、URoPEは事前に定義された奥行きアンカーで対応するカメラ線に沿って3Dポイントをサンプリングする。 標準2D RoPEは、投影されたピクセル座標を用いて適用することができる。
  論文  参考訳（メタデータ） (2026-04-20T18:52:03Z)
• VRoPE: Rotary Position Embedding for Video Large Language Models [20.76019756946152]
  テキストベース大規模言語モデル(LLM)における位置埋め込み(RoPE)の性能は高い。 しかし、ビデオフレームの複雑な構造のため、ビデオに拡張することは依然として課題だ。 ビデオLLMに適した新しい位置符号化法である位置ロータリー埋め込み(VRoPE)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T10:53:57Z)
• Advancing General Multimodal Capability of Vision-language Models with Pyramid-descent Visual Position Encoding [64.29499221878746]
  視覚言語モデル(VLM)は、汎用人工知能の進歩において顕著な能力を示している。 PyPEは、VLM内の視覚トークンの知覚を高めるために設計された新しいアプローチである。 本手法は,相互関連視覚要素と命令トークンとの相対的距離を減少させる。
  論文  参考訳（メタデータ） (2025-01-19T07:00:46Z)
• Rotary Position Embedding for Vision Transformer [44.27871591624888]
  本研究では、視覚変換器(ViT)に適用した場合の回転位置埋め込み(RoPE)の包括的解析を提供する。 RoPEは印象的な補間性能、すなわち推論時の画像解像度を増大させながら精度を維持する。 最終的にImageNet-1k、COCO検出、ADE-20kセグメンテーションのパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2024-03-20T04:47:13Z)
• ConvFormer: Plug-and-Play CNN-Style Transformers for Improving Medical Image Segmentation [10.727162449071155]
  我々はCNNスタイルのトランスフォーマー(ConvFormer)を構築し、より注意収束を促進し、セグメンテーション性能を向上させる。 位置埋め込みとトークン化とは対照的に、ConvFormerは2D畳み込みと最大プーリングを採用して位置情報の保存と特徴サイズの縮小を実現している。
  論文  参考訳（メタデータ） (2023-09-09T02:18:17Z)
• Rethinking Local Perception in Lightweight Vision Transformer [63.65115590184169]
  本稿では,コンテキスト認識型局所拡張を利用した軽量な視覚変換器であるCloFormerを紹介する。 CloFormer氏は、バニラ畳み込み演算子でよく使用されるグローバル共有ウェイトと、注目されているトークン固有のコンテキスト認識ウェイトとの関係について検討している。 提案したAttnConvでは、共有ウェイトを使用してローカル情報を集約し、ローカル機能を強化するために慎重に設計されたコンテキスト対応ウェイトをデプロイする。
  論文  参考訳（メタデータ） (2023-03-31T05:25:32Z)
• VTP: Volumetric Transformer for Multi-view Multi-person 3D Pose Estimation [4.603321798937854]
  Volumetric Transformer Pose estimator (VTP) はマルチビュー・マルチパーソン・ヒューマン・ポーズ推定のための最初の3Dトランスフォーマー・フレームワークである。 VTPは、すべてのカメラビューの2Dキーポイントから機能を集約し、3Dボクセル空間における関係をエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2022-05-25T09:26:42Z)
• FPConv: Learning Local Flattening for Point Convolution [64.01196188303483]
  FPConvは3次元点雲解析のために設計された新しい表面形状の畳み込み演算子である。 従来の方法とは異なり、FPConvは3Dグリッドやグラフのような中間表現への変換を必要としない。 FPConvは3Dオブジェクト分類や3Dシーンセグメンテーションといったタスクのために、様々なネットワークアーキテクチャに簡単に統合できる。
  論文  参考訳（メタデータ） (2020-02-25T07:15:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。