論文の概要: Phase Structure in Rotary Attention: A Spectral Framework for Semantic Continuity and Execution-Boundary Governance
- arxiv url: http://arxiv.org/abs/2607.25507v1
- Date: Tue, 28 Jul 2026 09:41:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.789803
- Title: Phase Structure in Rotary Attention: A Spectral Framework for Semantic Continuity and Execution-Boundary Governance
- Title（参考訳）: 回転注意の位相構造:意味的連続性と実行境界ガバナンスのためのスペクトルフレームワーク
- Abstract要約: 本稿では, 回転位相アライメント, 隠れ状態連続性, セマンティックドリフトを調べるためのスペクトル境界フレームワークを開発した。
これはまず、語彙指標ではなく順序付き隠れ状態列をスペクトル分解の有効な領域として同定する。
その後、ロタリー位置埋め込み(RoPE)の注意スコアを等級重み付きコサイン項の和として導き、局所安定性の補題を証明する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer language models are usually analyzed through vector geometry, yet ordered context and rotary position encoding introduce explicit phase structure into query-key interactions. This paper develops a bounded spectral framework for examining rotary phase alignment, hidden-state continuity, and semantic drift without treating language models as literal physical wave systems. It first identifies ordered hidden-state sequences, rather than vocabulary indices, as valid domains for spectral decomposition. It then derives the Rotary Position Embedding (RoPE) attention score as a sum of magnitude-weighted cosine terms and proves a local stability lemma: uniformly bounded phase displacement limits degradation of the corresponding pre-softmax score. To extend phase analysis beyond native RoPE coordinates, the paper defines complex modal coordinates over fixed orthonormal direction pairs and introduces a weighted coherence functional for hidden-state trajectories. These constructions support a strict distinction between representational continuity and execution-boundary admissibility. Internal coherence may describe preservation of task-relevant relations, but it cannot authorize a consequential transition. Positioned against existing geometric, spectral, phase-modulation, representation-analysis, and mechanistic-interpretability accounts, the framework contributes a theoretical and methodological program for determining when spectral structure explains continuity and when governance must remain an external predicate over execution.
- Abstract（参考訳）: トランスフォーマー言語モデルは通常、ベクトル幾何学によって解析されるが、順序づけられた文脈と回転位置エンコーディングは、クエリーキーの相互作用に明示的な位相構造を導入する。
本稿では, 言語モデルをリテラル物理波系として扱うことなく, 回転位相アライメント, 隠れ状態連続性, セマンティックドリフトを調べるためのスペクトル境界フレームワークを開発した。
これはまず、語彙指標ではなく順序付き隠れ状態列をスペクトル分解の有効な領域として同定する。
次に、ロタリー位置埋め込み(RoPE)の注意スコアを等級重み付きコサイン項の和として導き、局所安定性の補題を証明した。
位相解析をネイティブなRoPE座標を超えて拡張するため、固定直交方向対上の複素モード座標を定義し、隠れ状態軌道に対して重み付きコヒーレンス関数を導入する。
これらの構造は、表現的連続性と実行境界許容度を厳密に区別する。
内部コヒーレンス(英語版)はタスク関連関係の保存を記述することができるが、連続的な遷移を承認することはできない。
このフレームワークは、既存の幾何学的、スペクトル、位相変調、表現-分析、機械論的-解釈可能性のアカウントに対して位置付けられ、スペクトル構造が連続性を説明し、いつガバナンスが実行時に外部の述語のままでなければならないかを決定する理論的および方法論的なプログラムに寄与している。
関連論文リスト
- How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories [51.16651846289446]
我々は,個々のCoTステップの粒度における労力を定量化するための幾何学的枠組みであるステップ・アウェア・推論・エナジー(SARE)を提案する。
推理エネルギーはステップタイプにまたがって非常に不均一であり、軌道レベルの指標からは見えない位相的な遷移を示す。
SAREベースの機能は、ほとんどの設定でアウトプットベースの信頼ベースラインにマッチするか、向上します。
論文 参考訳（メタデータ） (2026-07-28T06:15:51Z) - Trajectory Forcing: Structure-First Generation with Controllable Semantic Trajectories [62.54876287800644]
拡散およびフローベース生成モデルは強い画像を生成するが、制御性はエンドポイント中心のままである。
最近の手法では、生成順序とプロセスの分解を利用してサンプルの品質を向上し始めているが、それでも中間状態は相互作用のオブジェクトではなく内部計算として扱われている。
本稿では、生成経路を明示的、意味的、編集可能にするトラジェクトリ中心のフレームワークであるトラジェクトリ・フォース(TF)を提案する。
論文 参考訳（メタデータ） (2026-06-21T14:25:50Z) - LAST: Bridging Vision-Language and Action Manifolds via Gromov-Wasserstein Alignment [71.3712075841632]
LASTはアクション空間を再構築し、ビジョン・ランゲージ・アクション・モダリティとの局所的な距離互換性を確立する。
LASTは収束性と一般化性に優れたVLAモデルを可能にする。
論文 参考訳（メタデータ） (2026-05-27T03:48:10Z) - Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers [93.3976834364707]
本稿では,特徴写像のリレーショナル幾何における整合性を実現する構造的RePresentation AlignmentフレームワークであるsREPAを提案する。
モデルが事前訓練された特徴から全体的空間配置と構造的相関を内包するように促すことにより、sREPAはより高速でより安定した収束を達成する。
論文 参考訳（メタデータ） (2026-05-16T12:01:04Z) - Structural Instability of Feature Composition [2.5754366051855837]
球状辞書モデルに基づく合成-崩壊しきい値について検討する。
高バイアス状態においては、ReLUは顕微鏡的相関による変動変動を系統的なドリフトに変換する。
CLEVRから抽出した構造化セマンティックな特徴に対するスケーリングの予測傾向を検証した。
論文 参考訳（メタデータ） (2026-04-18T05:53:31Z) - Topological Detection of Hopf Bifurcations via Persistent Homology: A Functional Criterion from Time Series [0.0]
位相データ解析の枠組みにTakensを組み込んだ位相空間再構成に適用した持続的ホモロジーに基づいて,時系列から直接ホップ分岐を検出するためのフレームワークを提案する。
その結果、トポロジカル位相遷移としての動的遷移の解釈を支援し、非線形時系列の定量的解析のためのモデルフリーツールとしてのトポロジカルデータ解析の可能性を示した。
論文 参考訳（メタデータ） (2026-03-28T20:25:38Z) - SGMatch: Semantic-Guided Non-Rigid Shape Matching with Flow Regularization [43.12848612518533]
SGMatchは意味誘導型非厳密な形状マッチングのための学習ベースのフレームワークである。
具体的には,視覚基盤モデルから幾何学的記述子への意味的特徴を統合するセマンティックガイド型ローカルクロスアテンションモジュールを設計する。
本研究では,時間変化速度場を監督し,回復した対応の空間的滑らかさを促進する条件付きフローマッチングに基づく正規化目標を提案する。
論文 参考訳（メタデータ） (2026-03-13T12:31:43Z) - Scale-Consistent State-Space Dynamics via Fractal of Stationary Transformations [9.983526161001997]
最近のディープラーニングモデルは、中間表現の妥当性に関する構造的な保証なしに、ますます深度に依存している。
我々は、状態空間モデルのスケール一貫性潜在力学の構造的要件を定式化することにより、この制限に対処する。
我々は予測されたスケール一貫性の挙動を実証的に検証し、適応効率がアライメントされた潜在幾何学から現れることを示す。
論文 参考訳（メタデータ） (2026-01-27T12:44:20Z) - Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics [69.00587226225232]
本研究では,CoTトラジェクトリを構造化潜在力学に抽象化する状態認識遷移フレームワークを提案する。
推論のグローバルな構造を特徴づけるために、それらの進行をマルコフ連鎖としてモデル化する。
この抽象化は、意味的役割の識別、時間的パターンの可視化、一貫性評価など、さまざまな分析をサポートする。
論文 参考訳（メタデータ） (2025-08-29T18:53:31Z) - TRACE for Tracking the Emergence of Semantic Representations in Transformers [10.777646083061395]
本稿では,トランスフォーマーに基づくLMにおける位相遷移を検出するために,幾何学的,情報的,言語的信号を組み合わせた診断フレームワークTRACEを紹介する。
実験により、位相遷移は曲率崩壊と寸法安定化の明確な交点と一致し、これらの幾何学的シフトは、新たな構文的および意味論的精度と一致することが明らかになった。
この研究は、モデル解釈可能性、訓練効率、構成一般化に関する洞察を提供することで、言語的抽象がLMにどのように現れるかの理解を深める。
論文 参考訳（メタデータ） (2025-05-23T15:03:51Z) - Hierarchical Context Alignment with Disentangled Geometric and Temporal Modeling for Semantic Occupancy Prediction [61.484280369655536]
カメラを用いた3Dセマンティック占領予測(SOP)は、限られた2次元画像観察から複雑な3Dシーンを理解するのに不可欠である。
既存のSOPメソッドは通常、占有表現学習を支援するためにコンテキストの特徴を集約する。
より正確なSOP(Hi-SOP)のための新しい階層型コンテキストアライメントパラダイムを導入する。
論文 参考訳（メタデータ） (2024-12-11T09:53:10Z) - Localisation in quasiperiodic chains: a theory based on convergence of
local propagators [68.8204255655161]
局所プロパゲータの収束に基づく準周期鎖に最も近いホッピングを持つ局所化の理論を提示する。
これらの連続分数の収束、局所化、あるいはその欠如を分析することは可能であり、それによって臨界点とモビリティエッジが帰結する。
結果は、振る舞いの範囲をカバーする3つの準周期モデルの理論を分析することで実証される。
論文 参考訳（メタデータ） (2021-02-18T16:19:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。