論文の概要: PJ-RoPE: A Fourier-Jet-Affine Position Space for Relative Attention

• arxiv url: http://arxiv.org/abs/2606.05345v1
• Date: Wed, 03 Jun 2026 18:37:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.343935
• Title: PJ-RoPE: A Fourier-Jet-Affine Position Space for Relative Attention
• Title（参考訳）: PJ-RoPE:相対的注意のためのフーリエジェットアフィン位置空間
• Authors: Yaobo Zhang,
• Abstract要約: 我々は、RoPE のフーリエ位相、ヨルダン-RoPE の有限ジェット、および ALiBi のアフィン整流を単一の学習可能な相対配置空間に統一する。 制御されたプローブはセクター選択を検証し、小さな言語の実行はアフィイン/リカレンシ境界を公開する。
• 参考スコア（独自算出の注目度）: 0.36260136172126667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We unify RoPE's Fourier phase, Jordan-RoPE's finite jets, and ALiBi's affine recency into a single learnable relative-position space, and study which regions of this space are selected by different tasks. PJ-RoPE is a Fourier-Jet-Affine formulation for relative attention, with an optional Poincare-type reading as the affine completion of a homogeneous Fourier-jet positional representation. Algebraically, the same primitives form a finite constant-coefficient difference module: simple roots of the lag-shift operator give Fourier/RoPE characters, repeated nonzero roots give Jordan/Fourier jets, and the repeated unit root gives ALiBi-like affine recency. The framework separates scalar PJ-bias kernels from exact PJ-rotary feature transforms, introduces adaptive sector diagnostics, and uses LC/rapidity coordinates to stabilize high-order jets. Controlled probes verify sector containment and selection; small language runs expose an affine/recency boundary; music-token streams provide the clearest case where LC/affine variants remain strong while carrying measurable high-order corrections; and LC diagnostics show a scale-stability gain coupled to phase-resolution loss.
• Abstract（参考訳）: 我々は、RoPEのフーリエ相、ヨルダン-RoPEの有限ジェット、およびALiBiのアフィン流を単一の学習可能な相対配置空間に統一し、この空間のどの領域が異なるタスクで選択されるかを研究する。 PJ-RoPEは比較的注意を向けたフーリエ-ジェット-アフィンの定式化であり、均質なフーリエ-ジェット位置表現のアフィン完備化としてポインケア型読み出しがオプションである。 代数的には、同じプリミティブは有限定数係数差分加群を形成し、ラグシフト作用素の単純根はフーリエ/RoPE文字を与え、繰り返し非ゼロ根はジョーダン/フーリエジェットを与える。 このフレームワークは、スカラーPJバイアスカーネルを正確なPJ回転特徴変換から分離し、適応セクター診断を導入し、LC/ラピダリティ座標を用いて高次ジェットを安定化する。 制御されたプローブはセクターの封じ込めと選択を検証し、小さな言語の実行はアフィン/リカレンシの境界を露出し、ミュージック・トーケン・ストリームは、測定可能な高次補正を実行しながらLC/アフィン変種が強い場合に最も明確なケースを提供する。

関連論文リスト

• Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
  本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。 合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
  論文  参考訳（メタデータ） (2026-05-25T07:08:57Z)
• Triple Spectral Fusion for Sensor-based Human Activity Recognition [86.21994396715074]
  本稿では,センサを用いたヒューマンアクティビティ認識(HAR)に適した新しい三重スペクトル融合フレームワークを提案する。 雑音抑制のための適応的な補間フィルタリング手法を開発し,各IMUセンサを姿勢・運動モードノードに整理する。 適応ウェーブレット周波数選択手法により、コンテキストの冗長性を抑え、特徴の長さを短縮する。
  論文  参考訳（メタデータ） (2026-05-04T15:42:58Z)
• One Attention, One Scale: Phase-Aligned Rotary Positional Embeddings for Mixed-Resolution Diffusion Transformer [48.30024190686566]
  CRPA(Cross-Resolution Phase-Aligned Attention)は、トレーニング不要のドロップイン修正で、ソースでのこの障害を取り除く。 CRPAはトレーニング済みのDiTと完全に互換性があり、すべてのヘッドとレイヤを均一に安定化させる。 CRPAにより高忠実かつ高効率な混合分解能生成が可能であり、画像およびビデオ生成における従来の最先端手法よりも優れることを示す。
  論文  参考訳（メタデータ） (2025-11-24T23:10:15Z)
• PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
  ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。 本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。 解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
  論文  参考訳（メタデータ） (2025-11-14T05:56:47Z)
• Do traveling waves make good positional encodings? [44.55744608160896]
  移動波に基づく新しい位置符号化機構であるRollPEを提案する。 従来の絶対的な位置埋め込みよりもはるかに優れていることを示す。 我々は、RolePEの数学的等価性を、RoPEの特定の構成に導出する。
  論文  参考訳（メタデータ） (2025-11-11T14:32:45Z)
• DiffFormer: a Differential Spatial-Spectral Transformer for Hyperspectral Image Classification [3.271106943956333]
  超スペクトル画像分類(HSIC)は、高次元データをスペクトル情報と空間情報で分析する可能性から注目されている。 本稿では、スペクトル冗長性や空間不連続性といったHSICの固有の課題に対処するために、差分空間スペクトル変換器(DiffFormer)を提案する。 ベンチマークハイパースペクトルデータセットの実験は、分類精度、計算効率、一般化可能性の観点から、DiffFormerの優位性を示す。
  論文  参考訳（メタデータ） (2024-12-23T07:21:41Z)
• On the Size and Approximation Error of Distilled Sets [57.61696480305911]
  カーネル・インジェクション・ポイント(Kernel Inducing Points)などのデータセット蒸留のカーネル・リッジ回帰に基づく手法について理論的に考察する。 我々は、RFF空間におけるその解が元のデータの解と一致するように、元の入力空間に小さな一組のインスタンスが存在することを証明した。 KRR溶液は、全入力データに最適化されたKRR溶液に対して近似を与えるこの蒸留されたインスタンスセットを用いて生成することができる。
  論文  参考訳（メタデータ） (2023-05-23T14:37:43Z)
• Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces [52.424621227687894]
  等質空間上の群同変ネットワークに対する統一的枠組みを導入する。 昇降した特徴場のフーリエ係数の空間性を利用する。 安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T17:59:01Z)
• DPCN++: Differentiable Phase Correlation Network for Versatile Pose Registration [18.60311260250232]
  本稿では,世界規模で収束し,対応のない位相相関解法を提案する。 DCPN++は,2次元鳥眼視画像,3次元物体・シーン計測,医用画像など,入力モードが異なる幅広い登録タスクで評価される。
  論文  参考訳（メタデータ） (2022-06-12T10:00:34Z)
• FFD: Fast Feature Detector [22.51804239092462]
  特定のスケール空間領域にロバストで正確なキーポイントが存在することを示す。 スケールスペースピラミッドの滑らか度比とぼかしをそれぞれ2と0.627に設定することで、信頼性の高いキーポイントの検出が容易であることが証明された。
  論文  参考訳（メタデータ） (2020-12-01T21:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。