論文の概要: Bifocal Attention: Harmonizing Geometric and Spectral Positional Embeddings for Algorithmic Generalization

• arxiv url: http://arxiv.org/abs/2601.22402v1
• Date: Thu, 29 Jan 2026 23:16:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.12198
• Title: Bifocal Attention: Harmonizing Geometric and Spectral Positional Embeddings for Algorithmic Generalization
• Title（参考訳）: Bifocal Attention:アルゴリズム一般化のための幾何学的およびスペクトル的位置埋め込みの調和化
• Authors: Kanishk Awadhiya,
• Abstract要約: 位置エンコーディングを2つの異なるモダリティに分離するアーキテクチャパラダイムであるBifocal Attentionを紹介する。 本稿では,静的な幾何学的パラメータとして位置周波数を初期化する新しいトレーニングプロトコルであるスペクトル進化法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Rotary Positional Embeddings (RoPE) have become the standard for Large Language Models (LLMs) due to their ability to encode relative positions through geometric rotation. However, we identify a significant limitation we term ''Spectral Rigidity'': standard RoPE utilizes a fixed geometric decay ($θ^{-i}$) optimized for local syntactic coherence, which fails to capture the long-range, periodic structures inherent in recursive logic and algorithmic reasoning. This results in a ''Structure Gap'', where models trained on shallow reasoning chains fail to extrapolate to deeper recursive steps. In this work, we introduce Bifocal Attention, an architectural paradigm that decouples positional encoding into two distinct modalities: Geometric Eyes (Standard RoPE) for precise token-level manipulation, and Spectral Eyes (Learnable Harmonic Operators) for tracking long-range recursive depth. We propose a novel training protocol, Spectral Evolution, which initializes positional frequencies as static geometric parameters but allows them to evolve via gradient descent into a harmonic basis optimized for the specific algorithmic topology of the task.
• Abstract（参考訳）: RoPE (Rotary Positional Embeddings) は、幾何回転によって相対位置を符号化する能力により、Large Language Models (LLMs) の標準となっている。 標準的な RoPE は局所的な構文的コヒーレンスに最適化された固定された幾何減衰(θ^{-i}$)を利用しており、これは再帰論理やアルゴリズム的推論に固有の長い範囲の周期構造を捉えるのに失敗する。 これにより'ストラクチャーギャップ'が発生し、浅い推論チェーンで訓練されたモデルでは、より深い再帰的なステップに外挿できない。 本稿では,両焦点注意(Bifocal Attention, Bifocal Attention, 位置エンコーディングを2つの異なるモダリティに分解するアーキテクチャパラダイムを紹介する。 本稿では,静的な幾何学的パラメータとして位置周波数を初期化する新しいトレーニングプロトコルであるSpectral Evolutionを提案する。

関連論文リスト

• Bayesian Matrix Completion Under Geometric Constraints [3.5522446024799064]
  スパース・ノイズ観測からユークリッド距離行列の完成は、信号処理における根本的な課題である。 ランク制約付き最適化や半定値プログラミングのような伝統的な手法は、幾何的制約を強制するが、しばしばスパースまたはノイズの多い条件下で苦労する。 本稿では,EDMを生成する潜在点集合に直接構造的事前を配置し,自然に幾何学的制約を埋め込む階層的ベイズフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-30T09:45:34Z)
• TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning [104.66714520975837]
  古典的タングラムゲームのレンズを通して構成空間推論を評価するために,幾何グラウンドのベンチマークを導入する。 本稿では,タングラム集合を正確に機械で検証可能な座標仕様でグルーピングする記号幾何学的枠組みであるタングラム構成式(TCE)を提案する。 MLLMは、幾何学的制約を無視しながら、ターゲットのシルエットとのマッチングを優先する傾向がある。
  論文  参考訳（メタデータ） (2026-01-23T07:35:05Z)
• PGOT: A Physics-Geometry Operator Transformer for Complex PDEs [15.319296758227857]
  物理幾何学演算子変換器(PGOT)を提案する。 PGOTは4つの標準ベンチマークで一貫した最先端性能を実現し、エアフォイルやカーデザインを含む大規模産業タスクに優れる。
  論文  参考訳（メタデータ） (2025-12-29T04:05:01Z)
• Spectral Embedding via Chebyshev Bases for Robust DeepONet Approximation [0.6752538702870791]
  SpectralEmbeded DeepONet (SEDNet) は、トランクが座標入力ではなく、固定されたチェビシェフスペクトル辞書によって駆動される新しい変種である。 SEDNetは一貫して、DeepONet、FEDONet、SEDONetの間で最も低い相対的なL2エラーを達成しており、ベースラインのDeepONetよりも平均30～40%改善されている。
  論文  参考訳（メタデータ） (2025-12-09T22:26:29Z)
• Geometrically Constrained and Token-Based Probabilistic Spatial Transformers [5.437226012505534]
  我々は、トランスフォーマーベースのビジョンパイプラインの標準化ツールとして、空間トランスフォーマーネットワーク(STN)を再考する。 本稿では、堅牢性を向上させる確率的、コンポーネントワイドな拡張を提案する。 本手法が他のSTNと比較して頑健さを常に向上することを示す。
  論文  参考訳（メタデータ） (2025-09-14T11:30:53Z)
• HoPE: Hyperbolic Rotary Positional Encoding for Stable Long-Range Dependency Modeling in Large Language Models [19.3827288035483]
  双曲型回転位置決め法を提案する。 トークン表現にローレンツ回転を実装するために双曲関数を利用する(HoPE)。 テストは、HoPEが既存の位置符号化手法を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-09-05T16:20:48Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• GTA: A Geometry-Aware Attention Mechanism for Multi-View Transformers [63.41460219156508]
  既存の位置符号化方式は3次元視覚タスクに最適であると主張する。 トークンの幾何学的構造を相対変換として符号化する幾何学的注意機構を提案する。 我々は、Geometric Transform Attention (GTA) と呼ばれる、最先端のトランスフォーマーベースNVSモデルの学習効率と性能を向上させることに留意している。
  論文  参考訳（メタデータ） (2023-10-16T13:16:09Z)
• Self-supervised Geometric Perception [96.89966337518854]
  自己教師付き幾何知覚(self-supervised geometric perception)は、基底幾何モデルラベルなしで対応マッチングのための特徴記述子を学ぶためのフレームワークである。 また,SGPは,地上トラスラベルを用いて訓練した教師付きオークルよりも同等か優れる最先端性能を達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-04T15:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。