論文の概要: WavePrune: One period is often enough for RoPE

• arxiv url: http://arxiv.org/abs/2610.06963v1
• Date: Sat, 03 Oct 2026 17:01:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.480977
• Title: WavePrune: One period is often enough for RoPE
• Title（参考訳）: WavePrune: ある期間はRoPEで十分であることが多い
• Abstract要約: 本稿では、各チャネルを第1回転周期に制限するWavePruneを提案する。 位置エイリアスにより生成した注意マップの歪みを除去し、全体の長文性能を改善する。
• 参考スコア（独自算出の注目度）: 17.867961754718966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rotary Position Embedding (RoPE) encodes token positions by rotating each two-dimensional channel of the query and key vectors at a channel-specific frequency, making the attention logits invariant to a common shift of positions. However, this rotation is periodic, and it leads to position aliasing where relative positions separated by a full rotation period become hard to tell apart. To address this, we propose WavePrune, which restricts each channel to its first rotation period. We show that it removes the distractions in attention maps created by position aliasing and improves overall long-context performance. Specifically, WavePrune raises the HELMET score on four of five models we test without any extra tuning (e.g., 35.7 -> 40.0 on Qwen3-8B). When pretraining models from scratch, WavePrune also achieves lower validation loss at extrapolated lengths than pretraining without it. Because WavePrune restricts each channel to a sliding window, it induces a fine-grained sparsity that our hardware-aligned CUDA kernels exploit for 1.15x prefill and 1.24x decoding speedups over FlashAttention-2 at 32K context. Together, these results show that RoPE's periodic structure, widely regarded as essential, is largely redundant beyond the first rotation period.
• Abstract（参考訳）: RoPE(Rotary Position Embedding)は、クエリの2次元チャネルとキーベクトルのそれぞれをチャネル固有の周波数で回転させることでトークンの位置を符号化する。 しかし、この回転は周期的であり、全回転周期で分離された相対的な位置が区別しにくい位置エイリアシングにつながる。 そこで本研究では,各チャネルを第1回転周期に制限するWavePruneを提案する。 位置エイリアスにより生成した注意マップの歪みを除去し、全体の長文性能を改善する。 具体的には、WavePruneは、追加チューニングなしでテストした5つのモデルのうち4つのHELMETスコアを上昇させる(Qwen3-8Bで35.7 -> 40.0)。 モデルをスクラッチから事前トレーニングする場合、WavePruneは、外挿した長さでのバリデーション損失を、それなしで事前トレーニングするよりも低くする。 WavePruneは各チャネルをスライディングウィンドウに制限するので、ハードウェア対応のCUDAカーネルが1.15倍のプリフィルと1.24倍のデコードスピードアップを、32KコンテキストでFlashAttention-2上で利用するように、きめ細かな間隔を誘導する。 これらの結果から、RoPEの周期構造は、一般的に必須と考えられており、第1回転周期を超えてほとんど冗長であることが示された。

関連論文リスト

• Analytic-Walk Rotary Positional Encodings for Graphs [49.85093436361195]
  回転位置符号化は相対的な位置に対して注意を向けるが、グラフに拡張するには、グラフ構造がどのように回転に入るかを選択する必要がある。 従来の作業では、各ノードにスペクトル座標からの回転を割り当てていたため、2つのノード間の回転係数はエンドポイントに依存しており、それらを接続するルートを区別することができない。 我々はAW-RoPEを導入し、エッジに回転を配置し、すべてのウォークに移動した特徴を合計するので、異なるルートに沿ったコントリビューションが強化またはキャンセルできる。
  論文  参考訳（メタデータ） (2026-09-26T03:00:22Z)
• Fractional-Order Adaptive Motion Magnification: Phase-Reliability Weighting for Noise-Constrained Video Amplification [51.56484100374058]
  本稿では、まずオフラインで、次に因果ストリームとして開発されたパイプラインであるフラクショナルオーダー適応運動拡大法を提案する。 一定の時間的利得を分数次 Grnwald--Letnikov 微分に置き換え、高周波強調を連続的に制御する。 リアルビデオでは、各ケースにおける空間選択性の向上と背景雑音の低減が示されている。
  論文  参考訳（メタデータ） (2026-09-03T21:43:22Z)
• When Does Frequency Decomposition Benefit Physics-Informed Neural Networks? A Preliminary Ablation Study [1.2081877372552605]
  偏微分方程式(PDE)は、ニューラルネットワークが近似に苦慮する高周波およびマルチスケールの特徴を持つことが多い。 PINNはトレーニングに直接支配方程式を構築するが、スペクトルバイアスに悩まされる。 本稿では、低周波成分と高周波成分をアダプティブゲートで結合した分離構造に分割するデュアルブランチ・スペクトルゲートアーキテクチャ(DBSG-PINN)を提案する。
  論文  参考訳（メタデータ） (2026-08-24T09:48:16Z)
• When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation [22.344331432749016]
  RoPEは、各ヘッドを2次元の周波数対に分割し、この分解を尊重する変換がフルヘッド混合において改善できるかどうかを疑問視する。 我々は、プール化共分散、位置平均サロゲートの下で、より大きなチャネル分散を最小化する回転角を導出する。 4つのチェックポイントにまたがって、フルヘッドのアダマールをこの構成に置き換えることで、短いコンテキスト長と長いコンテキスト長の両方で難易度が増大する。
  論文  参考訳（メタデータ） (2026-08-13T15:31:01Z)
• WaveZip: Wavelet-Driven Space-Time Decoupling for Video Token Condensation [69.37452950816122]
  WaveZipは、効率的なビデオ推論のための共同信号周波数領域フレームワークである。 長いビデオ理解ベンチマークの実験では、WaveZipは完全なパフォーマンスの99.6%を維持している。
  論文  参考訳（メタデータ） (2026-07-25T16:05:22Z)
• Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding [0.0]
  我々は、モーレットウェーブレットが位置符号化の自然な基礎であり、モーレット位置次元(MoPE)を導入することを提案する。 MoPEはデータから独自の周波数と局所帯域を学習する。 MoPEの位相はRoPE回転角を正確に回復し、振幅は標準符号化に欠けている学習されたガウスカーネルを追加する。
  論文  参考訳（メタデータ） (2026-05-31T14:26:26Z)
• PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
  ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。 本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。 解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
  論文  参考訳（メタデータ） (2025-11-14T05:56:47Z)
• DoPE: Denoising Rotary Position Embedding [60.779039511252584]
  トランスフォーマーモデルにおける回転位置埋め込み(RoPE)は、長さを弱める固有の限界を持つ。 ノイズのある特徴写像として位置符号化を用いたアテンションマップを再解釈し、位置補間ページ(DoPE)を提案する。 DoPEは、トランカテッド行列エントロピーに基づくトレーニング不要な手法であり、特徴写像における外乱周波数帯域を検出する。
  論文  参考訳（メタデータ） (2025-11-12T09:32:35Z)
• Dense Pruning of Pointwise Convolutions in the Frequency Domain [10.58456555092086]
  本研究では,各点層を離散コサイン変換(DCT)でラップする手法を提案する。 スパース演算子に依存する重み打ち法とは異なり、連続周波数帯打ち法は完全な密度計算をもたらす。 提案手法をMobileNetV2に適用することにより,計算時間を22%削減し,精度を1%向上させる。
  論文  参考訳（メタデータ） (2021-09-16T04:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。