論文の概要: On attention heads and bilinear forms

• arxiv url: http://arxiv.org/abs/2609.22990v1
• Date: Sat, 19 Sep 2026 12:48:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.623304
• Title: On attention heads and bilinear forms
• Title（参考訳）: 注意頭と双線型形式について
• Abstract要約: 訓練された大言語モデルの注意ヘッドにおけるバイリニア形式の対称的および反対称的部分について検討する。 注目ヘッドにおける双線型形式の対称部分は、クエリキー行列のザリスキーデンス部分集合に対する双曲形式と零形式の和であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the symmetric and antisymmetric parts of bilinear forms in the attention heads of trained large language models. We introduce an orthogonally invariant profile map from real bilinear forms to a three-dimensional simplex and observe that profiles of trained bilinear forms accumulate near profiles of rank-one bilinear forms. We prove that the symmetric part of a bilinear form in an attention head is the sum of a hyperbolic form and a zero form for a Zariski-dense subset of query-key matrices.
• Abstract（参考訳）: 訓練された大言語モデルの注意ヘッドにおけるバイリニア形式の対称的および反対称的部分について検討する。 実双線型形式から3次元単純体への直交不変プロファイル写像を導入し、訓練された双線型形式のプロファイルがランク1双線型形式のプロファイル近傍に蓄積されることを観察する。 注目ヘッドにおける双線型形式の対称部分は、クエリキー行列のザリスキーデンス部分集合に対する双曲形式と零形式の和であることを示す。

関連論文リスト

• GenSP: Consistent Spherical Parameterization via Learning Shape Generative Models [45.68408819044841]
  データ駆動型フレームワークであるGenSPを導入し,一貫した球面パラメータ化をジェネリック0形状の集合にわたって学習する。 このような生成モデルを学ぶ上で、いくつかの重要な課題に対処する。 ShapeNetデータセットの実験により、我々の手法は幾何歪みを著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-07-01T06:19:55Z)
• Symmetrization of 3D Generative Models [5.431496585727342]
  本稿では,モデルアーキテクチャではなくトレーニングデータを変更することで,3次元生成モデルにおける対称性を促進する新しいデータ中心アプローチを提案する。 提案手法は, 実世界の3次元形状と, 最先端モデルによる試料の反射対称性の解析から始まる。
  論文  参考訳（メタデータ） (2025-12-22T02:05:02Z)
• Spatially Structured Entanglement from Nonequilibrium Thermal Pure States [4.7794063432366345]
  1+1)次元臨界系における量子クエンチダイナミクスについて検討する。 空間的不均一性はハミルトニアンの変形によってもたらされる。 自由質量のダイラックフェルミオン理論とホログラフィック共形場理論を解析する。
  論文  参考訳（メタデータ） (2025-10-29T18:11:26Z)
• Spectral Meets Spatial: Harmonising 3D Shape Matching and Interpolation [50.376243444909136]
  本稿では,3次元形状の対応と形状の両面を統一的に予測する枠組みを提案する。 我々は、スペクトル領域と空間領域の両方の形状を地図化するために、奥行き関数写像フレームワークと古典的な曲面変形モデルを組み合わせる。
  論文  参考訳（メタデータ） (2024-02-29T07:26:23Z)
• Geometrically Consistent Partial Shape Matching [50.29468769172704]
  3次元形状の対応を見つけることは、コンピュータビジョンとグラフィックスにおいて重要な問題である。 しばしば無視されるが、整合幾何学の重要な性質は整合性である。 本稿では,新しい整数型線形計画部分形状整合式を提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:21:42Z)
• Representing Shape Collections with Alignment-Aware Linear Models [17.635846912560627]
  3次元点雲の古典的表現を線形形状モデルとして再考する。 私たちの重要な洞察は、ディープラーニングを活用して、アフィン変換として形状の集合を表現することです。
  論文  参考訳（メタデータ） (2021-09-03T16:28:34Z)
• Diagonal unitary and orthogonal symmetries in quantum theory [1.5229257192293197]
  この種の行列(と地図)は様々なシナリオを包含し、その結果研究を統一することを示した。 線型写像に対しては、それらのクラス、スタインスプリング、チョイ表現の項で記述された共分散の明示的な特徴づけを与える。 また、これらの写像の不変部分空間を記述し、それらの構造を用いて、関連する不変二部体状態の分離性に必要な十分条件を提供する。
  論文  参考訳（メタデータ） (2020-10-15T17:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。