Fugu-MT 論文翻訳(概要): Self-Attention as Distributional Projection: A Unified Interpretation of Transformer Architecture

論文の概要: Self-Attention as Distributional Projection: A Unified Interpretation of Transformer Architecture

arxiv url: http://arxiv.org/abs/2511.13780v1
Date: Sun, 16 Nov 2025 02:25:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-19 16:23:52.714355
Title: Self-Attention as Distributional Projection: A Unified Interpretation of Transformer Architecture
Title（参考訳）: 分散投影としての自己認識:トランスフォーマーアーキテクチャの統一解釈
Authors: Nihal Mehta,
Abstract要約: コーパスレベルの共起統計データをシーケンスコンテキストに投影することで自己注意が生じることを示す。我々の分析は、トランスフォーマーアーキテクチャの特定の代数形式がこれらの射影原理から従うことを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents a mathematical interpretation of self-attention by connecting it to distributional semantics principles. We show that self-attention emerges from projecting corpus-level co-occurrence statistics into sequence context. Starting from the co-occurrence matrix underlying GloVe embeddings, we demonstrate how the projection naturally captures contextual influence, with the query-key-value mechanism arising as the natural asymmetric extension for modeling directional relationships. Positional encodings and multi-head attention then follow as structured refinements of this same projection principle. Our analysis demonstrates that the Transformer architecture's particular algebraic form follows from these projection principles rather than being an arbitrary design choice.
Abstract（参考訳）: 本稿では,それを分布意味論の原理に結びつけることによって,自己意識の数学的解釈を行う。コーパスレベルの共起統計データをシーケンスコンテキストに投影することで自己注意が生じることを示す。本稿では,GloVe 埋め込みの基盤となる共起行列から,方向関係をモデル化するための自然な非対称拡張として生じるクエリキー値機構を用いて,プロジェクションがコンテキストの影響を自然に捉える方法を示す。位置エンコーディングとマルチヘッドアテンションは、同じ射影原理の構造化された洗練として従う。我々の分析は、トランスフォーマーアーキテクチャの特定の代数形式が任意の設計選択ではなく、これらの射影原理から従うことを示した。

関連論文リスト

Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning [50.99796659680724]
本研究では,GSM8Kスタイルのモジュラー演算をテストベッドとして用いたTransformerネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化について検討する。我々は,OOD一般化の強化を目的とした4つのアーキテクチャ機構のセットを紹介し,検討する。我々はこれらの実験結果を詳細な機械論的解釈可能性分析で補完し、これらのメカニズムがOOD一般化能力をいかに高めるかを明らかにする。
論文参考訳（メタデータ） (2025-10-15T21:03:59Z)
A Mathematical Explanation of Transformers for Large Language Models and GPTs [6.245431127481903]
本稿では,トランスフォーマーを構造化積分微分方程式の離散化として解釈する新しい連続フレームワークを提案する。この定式化の中で、自己注意機構は非局所積分作用素として自然に現れる。提案手法は, 連続領域にトランスフォーマー演算全体を埋め込むことにより, 従来の理論的解析を超えて拡張する。
論文参考訳（メタデータ） (2025-10-05T01:16:08Z)
Simplicial methods in the resource theory of contextuality [0.0]
単体分布の理論に基づいて,プレシャフ理論測定シナリオのファンクショナルな一般化としてイベントシナリオを紹介する。これらのカテゴリ上の対称なモノイド構造を定義し、分布関手を集合に拡張し、シミュレーションのプレシャフ-理論的な概念を一般化する資源理論を導出する。
論文参考訳（メタデータ） (2025-05-29T21:14:55Z)
Point or Line? Using Line-based Representation for Panoptic Symbol Spotting in CAD Drawings [67.5600169375126]
ベクトルグラフィカルプリミティブからなるCAD図面におけるパノプティカルシンボルスポッティングの課題について検討する。既存の手法は通常、画像化、グラフ構築、あるいは点ベースの表現に依存している。本稿では,プリミティブの行ベースの表現を通じてこれらの課題に対処する新しい手法であるVecFormerを提案する。
論文参考訳（メタデータ） (2025-05-29T12:33:11Z)
Constrained belief updates explain geometric structures in transformer representations [1.1666234644810893]
我々は、最適予測のモデル非依存理論と機械論的解釈可能性を統合し、隠れマルコフモデルのトラクタブルファミリーで訓練されたトランスフォーマーを解析する。分析では,単一層トランスに着目し,最初のアテンション層がどのように制約付き更新を実装しているかを明らかにする。これらの表現のアルゴリズム的挙動と基礎となる幾何学の両方が理論的にどのように予測できるかを示す。
論文参考訳（メタデータ） (2025-02-04T03:03:54Z)
Self-Attention as a Parametric Endofunctor: A Categorical Framework for Transformer Architectures [0.0]
我々は,自己意識の線形成分に着目したカテゴリー理論フレームワークを開発した。クエリ、キー、値マップは自然に2-圏 $mathbfPara(Vect)$ のパラメトリック 1-同型を定義することを示す。複数の自己アテンション層を積み重ねると、このエンドファウンタ上の自由モナドが構築される。
論文参考訳（メタデータ） (2025-01-06T11:14:18Z)
A Theoretical Analysis of Self-Supervised Learning for Vision Transformers [66.08606211686339]
マスク付きオートエンコーダ(MAE)とコントラスト学習(CL)は異なる種類の表現をキャプチャする。我々は,MAEとCLの両目的に対して,一層ソフトマックス型視覚変換器(ViT)のトレーニングダイナミクスについて検討した。
論文参考訳（メタデータ） (2024-03-04T17:24:03Z)
Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文参考訳（メタデータ） (2024-01-10T02:38:21Z)
Image Synthesis via Semantic Composition [74.68191130898805]
本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
論文参考訳（メタデータ） (2021-09-15T02:26:07Z)
Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
論文参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。