論文の概要: The Origin of Self-Attention: From Pairwise Affinity Matrices to Transformers

• arxiv url: http://arxiv.org/abs/2507.14560v1
• Date: Sat, 19 Jul 2025 09:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.945767
• Title: The Origin of Self-Attention: From Pairwise Affinity Matrices to Transformers
• Title（参考訳）: 自己注意の起源--親和性行列から変圧器へ
• Authors: Giorgio Roffo,
• Abstract要約: 自己認識メカニズムは現在、Transformersのようなディープラーニングアーキテクチャの中心となっている。 本稿では,複数の領域にまたがる自己意識の概念的起源を追究する。 我々は、ペア関係を前提とした基盤構造は、両方のアプローチにまたがって維持されていると論じる。
• 参考スコア（独自算出の注目度）: 1.2058143465239939
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The self-attention mechanism, now central to deep learning architectures such as Transformers, is a modern instance of a more general computational principle: learning and using pairwise affinity matrices to control how information flows through a model. This paper traces the conceptual origins of self-attention across multiple domains, including computer vision, natural language processing, and graph learning, through their shared reliance on an affinity matrix, denoted as A. We highlight Infinite Feature Selection (Inf-FS) as a foundational approach that generalizes the idea of affinity-based weighting. Unlike the fixed dot-product structure used in Transformers, Inf-FS defines A either through domain knowledge or by learning, and computes feature relevance through multi-hop propagation over the affinity graph. From this perspective, self-attention can be seen as a special case of Inf-FS: it uses a single-hop affinity computation where A is dynamically built from token similarities. We argue that the underlying structure, reasoning over pairwise relationships, is preserved across both approaches, and the key differences lie in how the affinity matrix is defined and applied. By situating self-attention within the broader paradigm of affinity-based computation, we unify several strands of machine learning research and highlight a common mathematical foundation that underpins diverse models and tasks.
• Abstract（参考訳）: トランスフォーマーのようなディープラーニングアーキテクチャの中心となった自己認識メカニズムは、より一般的な計算原理の近代的な例である。 本稿では,コンピュータビジョン,自然言語処理,グラフ学習など多分野にわたる自己意識の概念的起源を,親和性に基づく重み付けの考え方を一般化する基礎的アプローチとして,親和性行列(Af-FS)の共有的依存を通じて追跡する。 Transformersで使用される固定ドット生成構造とは異なり、Inf-FSはドメイン知識か学習によってAを定義し、アフィニティグラフ上のマルチホップ伝搬によって特徴の関連性を計算する。 この観点から、自己注意はInf-FSの特別な場合と見なすことができ、トークン類似性からAが動的に構築されるシングルホップ親和性計算を使用する。 我々は、ペア関係を前提とした構造は、両方のアプローチにまたがって保持され、アフィニティ行列の定義と適用方法に重要な違いがあると主張している。 親和性に基づく計算の幅広いパラダイムに自己注意を集中させることで、機械学習研究のいくつかの要素を統一し、多様なモデルやタスクを支える一般的な数学的基礎を強調する。

関連論文リスト

• Hadamard product in deep learning: Introduction, Advances and Challenges [68.26011575333268]
  この調査では、基本的な未検討のプリミティブ、すなわちアダマール積を調べている。 様々なアプリケーションに広く実装されているにもかかわらず、アダマール製品は、コアアーキテクチャのプリミティブとして体系的に分析されていない。 本稿では,高次相関,マルチモーダルデータ融合,動的表現変調,効率的なペアワイズ演算の4つの主要領域を同定し,その応用の包括的分類について述べる。
  論文  参考訳（メタデータ） (2025-04-17T17:26:29Z)
• Self-Attention as a Parametric Endofunctor: A Categorical Framework for Transformer Architectures [0.0]
  我々は,自己意識の線形成分に着目したカテゴリー理論フレームワークを開発した。 クエリ、キー、値マップは自然に2-圏 $mathbfPara(Vect)$ のパラメトリック 1-同型を定義することを示す。 複数の自己アテンション層を積み重ねると、このエンドファウンタ上の自由モナドが構築される。
  論文  参考訳（メタデータ） (2025-01-06T11:14:18Z)
• Emergence of Self-Identity in AI: A Mathematical Framework and Empirical Study with Generative Large Language Models [4.036530158875673]
  本稿では,AIシステムにおける自己同一性の定義と定量化のための数学的枠組みを提案する。 我々の枠組みは、2つの数学的に定量化された条件から自己同一性が生じることを示唆している。 本研究の意義は、ヒューマノイドロボット工学や自律システムの分野に即時に関係している。
  論文  参考訳（メタデータ） (2024-11-27T17:23:47Z)
• Deep Learning Activation Functions: Fixed-Shape, Parametric, Adaptive, Stochastic, Miscellaneous, Non-Standard, Ensemble [0.0]
  活性化関数(AF)は、ディープラーニングモデルのアーキテクチャにおいて重要な役割を果たす。 本稿では, 固定形, 適応型, 非標準型, アンサンブル/組合わせ型など, 様々な種類のAFについて概観する。 本研究は,12種類の最先端AFを比較検討した。
  論文  参考訳（メタデータ） (2024-07-14T17:53:49Z)
• Accelerating Scientific Discovery with Generative Knowledge Extraction, Graph-Based Representation, and Multimodal Intelligent Graph Reasoning [0.0]
  我々は1000の科学論文からなるデータセットを、オントロジ知識グラフに変換した。 我々はノード度を計算し、コミュニティと接続性を同定し、クラスタリング係数とピボットノード間の重心性を評価した。 グラフは本質的に無スケールの性質を持ち、高連結であり、グラフ推論に使用できる。
  論文  参考訳（メタデータ） (2024-03-18T17:30:27Z)
• Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning [58.93724285214628]
  本稿では、完全にドメインに依存しないマスク付きモデリング手法である自己誘導マスク付きオートエンコーダ(SMA)を提案する。 SMAは、マスクを学習し、ドメイン固有の仮定なしでサンプリングすることで、マスクモデリングの目的を用いて注意に基づくモデルを訓練する。 本研究では,タンパク質生物学,化学特性予測,粒子物理の3つの自己教師型学習ベンチマークでSMAを評価した。
  論文  参考訳（メタデータ） (2024-02-22T18:46:22Z)
• Binding Dynamics in Rotating Features [72.80071820194273]
  本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
  論文  参考訳（メタデータ） (2024-02-08T12:31:08Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Subverting machines, fluctuating identities: Re-learning human categorization [1.3106063755117399]
  AI研究におけるデフォルトパラダイムは、離散的で静的な重要な属性を持つアイデンティティを想定している。 対照的に、批判理論における思考のストランドは、自己同一性の概念を可鍛性として示し、相互作用を通して完全に構成する。
  論文  参考訳（メタデータ） (2022-05-27T03:09:25Z)
• Learning with latent group sparsity via heat flow dynamics on networks [5.076419064097734]
  機械学習問題における説明変数上のグループまたはクラスタ構造は非常に一般的な現象である。 このようなグループ構造下での学習には,グループアイデンティティに関する事前情報を必要としないアプローチに寄与する。 我々は、利用可能なデータに基づいて、そのようなネットワークを構築する手順を実証する。
  論文  参考訳（メタデータ） (2022-01-20T17:45:57Z)
• Transformer-based Dual Relation Graph for Multi-label Image Recognition [56.12543717723385]
  本稿では,トランスフォーマーをベースとしたデュアルリレーショナル学習フレームワークを提案する。 相関の2つの側面、すなわち構造関係グラフと意味関係グラフについて検討する。 提案手法は,2つのポピュラーなマルチラベル認識ベンチマークにおいて,最先端性を実現する。
  論文  参考訳（メタデータ） (2021-10-10T07:14:52Z)
• Adaptive Attribute and Structure Subspace Clustering Network [49.040136530379094]
  自己表現型サブスペースクラスタリングネットワークを提案する。 まず、入力データサンプルを表現する自動エンコーダについて検討する。 そこで我々は, 局所的な幾何学的構造を捉えるために, 混合符号と対称構造行列を構築した。 構築された属性構造と行列に対して自己表現を行い、親和性グラフを学習する。
  論文  参考訳（メタデータ） (2021-09-28T14:00:57Z)
• Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation [56.694330303488435]
  マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。 簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-07-17T07:52:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。