論文の概要: Relational Composition as Parallel Transport: What Per-Entity Frames Force in Attention
- arxiv url: http://arxiv.org/abs/2610.34945v1
- Date: Mon, 26 Oct 2026 07:11:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.782228
- Title: Relational Composition as Parallel Transport: What Per-Entity Frames Force in Attention
- Title（参考訳）: 並列移動としての関係構成--個々のフレームの注意力-
- Abstract要約: ドット積は、両方のベクトルが座標系を共有する場合にのみ何かを意味する。
我々は、この恒常的なフレーム自由を対称性として捉え、それが何に注意を向けるかを問う。
- 参考スコア（独自算出の注目度）: 0.6372261626436676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A dot product means something only when both vectors share a coordinate system. Content words have one; a fresh entity does not: rotating its coordinates alone changes nothing. We take this per-entity frame freedom as a symmetry and ask what it forces in attention. For orthogonal transports, invariant scores depend only on norms and the transported inner product $\langle x_i,T_{ij}x_j\rangle$; equivariant messages lie in the span of $x_i$ and $T_{ij}x_j$. Endpoint channel count bounds transport rank, so with one vector per entity relations must be supplied; standard attention is the flat sector of a shared frame. Representation theory attaches an integer to each mechanism; the readout decides which. With orthogonal transitions, a convex-cell readout composes a finite group exactly only at or above its smallest faithful real representation dimension. At this minimum, exactness forces a faithful representation. An even readout can decode a cover at smaller width, and the gap is unbounded. Below its threshold, the part of the group a mechanism cannot see sets an accuracy ceiling computable before training. 17/17 fitting seeds at minimal width passed tests through length 1000, versus 7/18 at twice the width; 12 models carry correctness certificates to explicit lengths, from the weights alone. On $C_3\times A_4$ (faithful width 5), descent at width 4 learned the 72-state double cover under sign-blind attention (6/48 seeds; monotone 0/48); on a frozen cover the cross-entropy-optimal affine head is uniform, a quadratic head exact. On parsed CLUTRR, transported composition beats a matched transformer by 41 points at 4-10 hops, but forcing isometries costs 65 points; on StepGame's commutative algebra, isometries help. Static embeddings gave each word one vector; contextual models gave each occurrence its own; per-entity frames make each relation an operator, the unit in which relations compose.
- Abstract（参考訳）: ドット積は、両方のベクトルが座標系を共有する場合にのみ何かを意味する。
コンテンツワードには1つあります。新しいエンティティは、座標を回転するだけでは何も変わりません。
我々は、この恒常的なフレーム自由を対称性として捉え、それが何に注意を向けるかを問う。
直交輸送の場合、不変スコアはノルムと輸送された内部積 $\langle x_i,T_{ij}x_j\rangle$ にのみ依存する。
エンドポイントチャネルカウントは転送ランクを束縛するので、エンティティ関係ごとに1つのベクトルを供給する必要がある。
表現論は各機構に整数を付加し、読み出しはどれを決定するかを決定する。
直交遷移では、凸セルの読み出しは、その最小の忠実な実表現次元のちょうど上の有限群を構成する。
この最小限では、正確さは忠実な表現を強制する。
たとえ読み出しでも、より小さな幅でカバーをデコードでき、ギャップは非バウンドである。
しきい値以下では、グループの一部がトレーニング前に計算可能な精度の天井をセットできない。
最小の幅で17/17の種子が1000倍の幅で7/18の幅で試験に合格した。
C_3\times A_4$ (fithful width 5), 幅4の降下により, 72状態の二重被覆 (6/48種, モノトン0/48) が得られた。
解析された CLUTRR では、輸送された合成は、4-10ホップで41ポイントの整合変換器を破るが、強制的な等距離は65ポイント、StepGame の可換代数では等距離が助けとなる。
静的埋め込みは各単語に1つのベクトルを与え、文脈モデルがそれぞれの出現をそれぞれ独自のものにした。
関連論文リスト
- Closing the Modality Gap via Simplex-Constrained Representations [47.173738927528234]
埋め込み領域を単位球面から確率単純集合へ$Sd-1$に変更することを提案する。
両方の次元は同じ固有幾何を共有しているが、単純体は構造的先行体として機能し、その非負の単位質量制約は、両方のモダリティを同じ座標系に接させるクロスモーダルキャリブレーションとして機能する。
論文 参考訳（メタデータ） (2026-10-23T16:57:48Z) - ArticulateArena: A Metric for Articulated Kinematics [56.23391152623764]
ArticulateArenaは、調音のためのチャンファー距離の表現不変である。
これは、それを符号化するパラメータではなく、1-DOF関節の運動を比較する。
ArticulateArena-20Kは19,977個の調音されたオブジェクトからなる新しいスイートで、キネマティクスを検証する。
論文 参考訳（メタデータ） (2026-09-27T21:19:22Z) - $\mathbb{SL}(n)$ Representation Learning: An Intrinsic Mixed-Curvature Space with Higher Curvature Capacities and Deeper Order-Aware Composition [47.80325814873361]
混合曲率表現学習は、単一の曲率構造によって適切にモデル化できないリッチな幾何学的構造を捉えることを目指している。
例えば、$mathbbSL(n)$ space, a representation geometry defined by the simple $det(A)variant=1$ constraint and a left in Schatten-$p$ structure。
この最小構成にもかかわらず、$mathbbSL(n)$ は共通のフラグポールの周りに点方向の負、零、およびフラグ曲率を示す。
論文 参考訳（メタデータ） (2026-09-14T05:52:14Z) - Prompt-Model Interaction Reaches the Fixed Points: A deterministic, task-free structural readout -- and the factorizations of it that failed [0.0]
ショートウィンドウ argmax map x_t+1 = argmax_x p(x | x_t-1, x_t) の固定点構造は96 から始まる。
6つのモデルのうち4つは、ウィンドウ16で完全に失われている。
第一に、相互作用は全等級でこの読み出しに達する:条件付けの9つのトークンは、そのほとんどにわたって固定点分数を動かす。
論文 参考訳（メタデータ） (2026-08-21T17:25:18Z) - Leaf Values as Coordinates: Exact Contrastive Explanation for Gradient-Boosted Ensembles [0.0]
勾配ブーストされたアンサンブルは、木ごとの葉の値の1つを和らげて予測する。
各インスタンスはRMの点となり、モデルが線形に振る舞う。
その推奨は、モデル自身の決定を6.2 x 10-15に再構成する。
論文 参考訳（メタデータ） (2026-08-19T17:20:33Z) - Degenerate in Whose Frame? An Equivariance Condition for Degeneracy Detection in LiDAR Registration [20.718662540928214]
LiDAR登録のためのデジェネリアシー検出器は、一般的に6つの軸あたりのバイナリラベルを返す。
体枠の変化の下では、H' = Ad(T)T H Ad(T) は相似性ではなく、相似性によって変換されることを示す。
騒音のない円形トンネルでは、原点を1メートルシフトすると、どの自由度がフラグ付けされているかが変化する。
論文 参考訳（メタデータ） (2026-08-16T05:04:11Z) - A Compositional Theory of Causally Masked Transformers [50.88598486616582]
モデルが実装した力学から直接表現性を導出する形式化を開発する。
各アテンションヘッドは、レイヤ内で独立して自身の状態を更新する。
修正されたソフトアテンションは、不可逆なチェックリストのような状態をサポートする。
論文 参考訳（メタデータ） (2026-07-29T14:47:19Z) - From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers [53.505136935517925]
自己注意は現代のシーケンスモデルにおいてユビキタスプリミティブであるが、作用素レベルの幾何学は部分的には理解されていない。
単頭注意 (SHA) は, 常に搬送される接続伝播ステップであることを示す。
トレーニングされたトランスフォーマー(124Mから8B)と構造(エンコーダ/デコーダ)は、我々の理論と整合した幾何学的構造を示す。
論文 参考訳（メタデータ） (2026-07-12T09:44:54Z) - Kinematical correlations via $κ$-Poincaré coproducts [0.0]
ミンコフスキー時空におけるホップ代数運動量組成則の運動論的結果について検討する。
シングルブランチ方式では、これは単に変形した相関積である一方、マルチブランチ方式では、$P_$で指定された状態は別個の予備枝に拡張することができる。
論文 参考訳（メタデータ） (2026-06-02T01:21:42Z) - A Geometric Profile of Semantic Information in Text: Frame-Conditional Uniqueness and a Trade-Off Triangle for Scalar Summaries [0.0]
テキストの文の埋め込み構造から意味的内容を測定するフレームワークを開発する。
推奨のランク正規化構成は、28の順序チェックのうち25をポイント推定としてパスする。
別個の変動結果は、幅座標を行列点過程の対数行列式に接続する。
論文 参考訳（メタデータ） (2026-05-27T04:37:26Z) - Coordinate Independent Convolutional Networks -- Isometry and Gauge
Equivariant Convolutions on Riemannian Manifolds [70.32518963244466]
平坦空間と比較して大きな複雑さは、コンボリューション核が多様体にどのようなアライメントを適用するべきかが不明確であることである。
コーディネート化の特定の選択は、ネットワークの推論に影響を与えるべきではない、と我々は主張する。
座標独立と重み共有の同時要求は、ネットワーク上の同変要求をもたらす。
論文 参考訳（メタデータ） (2021-06-10T19:54:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。