論文の概要: DoPE: Denoising Rotary Position Embedding

• arxiv url: http://arxiv.org/abs/2511.09146v1
• Date: Thu, 13 Nov 2025 01:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.432674
• Title: DoPE: Denoising Rotary Position Embedding
• Title（参考訳）: DoPE:ロータリー・ポジション・エンベッドのノウハウ
• Authors: Jing Xiong, Liyang Fan, Hui Shen, Zunhai Su, Min Yang, Lingpeng Kong, Ngai Wong,
• Abstract要約: トランスフォーマーモデルにおける回転位置埋め込み(RoPE)は、長さを弱める固有の限界を持つ。 ノイズのある特徴写像として位置符号化を用いたアテンションマップを再解釈し、位置補間ページ(DoPE)を提案する。 DoPEは、トランカテッド行列エントロピーに基づくトレーニング不要な手法であり、特徴写像における外乱周波数帯域を検出する。
• 参考スコア（独自算出の注目度）: 60.779039511252584
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Rotary Position Embedding (RoPE) in Transformer models has inherent limits that weaken length extrapolation. We reinterpret the attention map with positional encoding as a noisy feature map, and propose Denoising Positional Encoding (DoPE), a training-free method based on truncated matrix entropy to detect outlier frequency bands in the feature map. Leveraging the noise characteristics of the feature map, we further reparameterize it with a parameter-free Gaussian distribution to achieve robust extrapolation. Our method theoretically reveals the underlying cause of the attention sink phenomenon and its connection to truncated matrix entropy. Experiments on needle-in-a-haystack and many-shot in-context learning tasks demonstrate that DoPE significantly improves retrieval accuracy and reasoning stability across extended contexts (up to 64K tokens). The results show that the denoising strategy for positional embeddings effectively mitigates attention sinks and restores balanced attention patterns, providing a simple yet powerful solution for improving length generalization. Our project page is Project: https://The-physical-picture-of-LLMs.github.io
• Abstract（参考訳）: トランスフォーマーモデルにおける回転位置埋め込み(RoPE)は、長さ外挿を弱める固有の限界を持つ。 そこで我々は,注目マップをノイズの多い特徴マップとして再解釈し,特徴マップの外れ周波数帯域を検出するために,乱れ行列エントロピーに基づくトレーニング不要なDNOPE(Denoising Positional Encoding)を提案する。 特徴写像の雑音特性を利用してパラメータフリーなガウス分布をパラメータフリーで再パラメータ化し,ロバストな外挿を実現する。 提案手法は,アテンションシンク現象の根本原因と,乱れた行列エントロピーとの関係を理論的に明らかにする。 ニードル・イン・ア・ヘイスタックと多ショット・イン・コンテクスト・ラーニング・タスクの実験により、DoPEは、拡張コンテキスト(最大64Kトークン)にわたる検索精度と推論安定性を著しく改善することを示した。 その結果, 位置埋め込みの認知戦略は, 注意シンクを効果的に軽減し, バランスの取れた注意パターンを復元し, 長さ一般化を改善するための単純かつ強力なソリューションを提供することを示した。 私たちのプロジェクトページはProject: https://The-physical-picture-of-LLMs.github.ioです。

関連論文リスト

• Robust and Noise-resilient Long-Term Prediction of Spatiotemporal Data Using Variational Mode Graph Neural Networks with 3D Attention [11.356542363919058]
  本稿では,時空間変動モードグラフネットワーク(VMGCN)を用いた長期予測の堅牢性向上に焦点をあてる。 このタスクのディープラーニングネットワークは過去のデータ入力に依存しているが、リアルタイムデータはセンサノイズによって破壊される可能性がある。 我々は、このノイズを独立かつ同一に分散したガウスノイズとしてモデル化し、LargeSTトラフィックボリュームデータセットに組み込む。
  論文  参考訳（メタデータ） (2025-04-09T07:49:45Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• RhythmFormer: Extracting Patterned rPPG Signals based on Periodic Sparse Attention [18.412642801957197]
  RRhythmは、生理学的ビデオに基づいて生理的信号を検出する非接触法である。 本稿では,周期性によって誘発される時間的注意間隔に基づく周期的注意機構を提案する。 これは、データ内およびデータ間評価の両方において最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-20T07:56:02Z)
• Tolerating Annotation Displacement in Dense Object Counting via Point Annotation Probability Map [25.203803417049528]
  混雑したシーンでオブジェクトをカウントすることは、コンピュータビジョンにとって依然として難しい課題だ。 学習目標点アノテーション確率マップ(PAPM)を提案する。 また,適応学習型PAPM法(AL-PAPM)を提案する。
  論文  参考訳（メタデータ） (2023-07-29T04:46:21Z)
• Attention Map Guided Transformer Pruning for Edge Device [98.42178656762114]
  視覚トランスフォーマー (ViT) は, 全体的かつ隠蔽された人物再識別 (Re-ID) タスクにおいて, 有望な成功を収めた。 本稿では、冗長なトークンとヘッドの両方を除去する新しいアテンションマップガイド(AMG)トランスフォーマープルーニング法を提案する。 Occluded DukeMTMC と Market-1501 に関する総合的な実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-04-04T01:51:53Z)
• DINF: Dynamic Instance Noise Filter for Occluded Pedestrian Detection [0.0]
  RCNNベースの歩行者検出器は、矩形領域を使用してインスタンスの特徴を抽出する。 重なり合うオブジェクトの数とわずかに重なり合うオブジェクトの数は不均衡である。 RCNNをベースとした歩行者検知器の信号雑音比を改善するために, 繰り返し動的インスタンスノイズフィルタ (DINF) を提案する。
  論文  参考訳（メタデータ） (2023-01-13T14:12:36Z)
• Rethinking Spatial Invariance of Convolutional Networks for Object Counting [119.83017534355842]
  局所連結ガウス核を用いて元の畳み込みフィルタを置き換え、密度写像の空間位置を推定する。 従来の研究から着想を得て,大規模なガウス畳み込みの近似を好意的に実装するために,翻訳不変性を伴う低ランク近似を提案する。 提案手法は,他の最先端手法を著しく上回り,物体の空間的位置の有望な学習を実現する。
  論文  参考訳（メタデータ） (2022-06-10T17:51:25Z)
• Augmented Parallel-Pyramid Net for Attention Guided Pose-Estimation [90.28365183660438]
  本稿では、注意部分モジュールと微分可能な自動データ拡張を備えた拡張並列ピラミドネットを提案する。 我々は、データ拡張のシーケンスをトレーニング可能なCNNコンポーネントとして定式化する新しいポーズ検索空間を定義する。 特に,本手法は,挑戦的なCOCOキーポイントベンチマークとMPIIデータセットの最先端結果において,トップ1の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-17T03:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。