論文の概要: Attention's Gravitational Field:A Power-Law Interpretation of Positional Correlation

• arxiv url: http://arxiv.org/abs/2603.04805v1
• Date: Fri, 06 Feb 2026 01:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.223421
• Title: Attention's Gravitational Field:A Power-Law Interpretation of Positional Correlation
• Title（参考訳）: 注意の重力場:位置相関のパワーコース解釈
• Authors: Edward Zhang,
• Abstract要約: 本稿では,Large Language Models(LLMs)における位置関係とエンコーディングの基本原理について考察する。 セマンティックエンコーディングから位置エンコーディングを分離することにより、モデルアーキテクチャを最適化し、一般的なエンコーディング手法と比較して精度が向上する。
• 参考スコア（独自算出の注目度）: 0.5105115416258327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores the underlying principles of positional relationships and encodings within Large Language Models (LLMs) and introduces the concept of the Attention Gravitational Field (AGF). By decoupling positional encodings from semantic embeddings, we optimize the model architecture and achieve superior accuracy compared to prevailing encoding methods. Furthermore, we provide an in-depth analysis of AGF, demonstrating its intrinsic consistency with learning and stability curves, as well as its empirical alignment with Newton's Law of Universal Gravitation. By offering a rigorous theoretical exploration of these phenomena, this work represents a significant step toward interpreting the Attention mechanism and unlocks new possibilities for future research in model optimization and interpretability.
• Abstract（参考訳）: 本稿では,Large Language Models(LLMs)における位置関係とエンコーディングの原理を考察し,AGF(Atention Gravitational Field)の概念を紹介する。 セマンティックエンコーディングから位置エンコーディングを分離することにより、モデルアーキテクチャを最適化し、一般的なエンコーディング手法と比較して精度が向上する。 さらに,AGFの詳細な解析を行い,学習曲線と安定性曲線との本質的な整合性,およびニュートンの普遍重力法則との実証的な整合性を示す。 これらの現象の厳密な理論的探索を提供することにより、本研究は注意機構の解釈に向けた重要なステップを示し、将来のモデル最適化と解釈可能性研究の新たな可能性を開く。

関連論文リスト

• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Flows and Diffusions on the Neural Manifold [0.0]
  拡散およびフローベース生成モデルは、画像合成、ビデオ生成、自然言語モデリングといった領域で顕著に成功している。 本研究では、最近の手法を活用して、これらの進歩を重み空間学習に拡張し、最適化力学から導かれる構造的事前を組み込む。 我々は,勾配流の整合性を考慮した軌道推論手法を統一し,最適化経路を帰納バイアスとして扱うための理論的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-07-14T02:26:06Z)
• Symplectic Generative Networks (SGNs): A Hamiltonian Framework for Invertible Deep Generative Modeling [0.0]
  本稿では,ハミルトン力学を利用して潜在空間とデータ空間の間の非可逆な体積保存マッピングを構築する深層生成モデルであるemphSymplectic Generative Network(SGN)を紹介する。 シンプレクティックな構造を持ち、ハミルトニアン系の時間発展としてデータ生成をモデル化することにより、SGNはヤコビアン計算の計算オーバーヘッドを発生させることなく正確な精度評価を行う。
  論文  参考訳（メタデータ） (2025-05-28T16:13:36Z)
• Topological Eigenvalue Theorems for Tensor Analysis in Multi-Modal Data Fusion [0.0]
  本稿では,マルチモーダルデータ融合におけるテンソル固有値解析のための新しいフレームワークを提案する。 固有値とトポロジカルな特徴を結びつける新しい定理を確立することにより、提案フレームワークはデータの潜伏構造に関する深い洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-14T09:46:15Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing [67.83086131278904]
  トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。 PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。 私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
  論文  参考訳（メタデータ） (2022-08-17T14:04:21Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Holographic tensor network models and quantum error correction: A topical review [78.28647825246472]
  ホログラフィックの双対性の研究の最近の進歩は、量子情報理論の概念や技術と結びついている。 特に成功したアプローチは、テンソルネットワークによるホログラフィック特性のキャプチャである。
  論文  参考訳（メタデータ） (2021-02-04T14:09:21Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。